爬取简书全站文章并生成 API(二)

python struggling 1150次浏览 0个评论
文章目录

简书

第一节已经介绍了简书网站的结构,爬取文章前对网页源码进行必要的分析,以及整个项目的步骤,这一节开始介绍如何爬取简书分类目录下的文章,如有不明白的,请务必看完前一节的介绍:

爬取“新上榜”目录下的文章

首先创建一个 Django 项目:

   # django-admin startproject jianshu_api
    
   # cd jianshu_api
    
   # django-admin startapp jianshu

在 jianshu_api/settings.py 下配置数据库:


    DATABASES = {
        'default': {
            'ENGINE': 'django.db.backends.mysql',
            'NAME': 'jianshu',
            'HOST': '127.0.0.1',
            'USER': 'root',
            'PASSWORD': 'tianfeiyu',
            'PORT': 3306
        }
    }

开始写 models:

此 API 的设计是模仿知乎日报 API 的形式,models 分两层,第一层是概要信息,第二层是详细内容,以概要信息作为外键。

    class ArticleList(models.Model):
        """
            文章概要信息
        """
        article_id = models.CharField('ID', primary_key=True, max_length=100)
        article_title = models.CharField('文章标题', max_length=100)
        article_url = models.URLField('文章URL')
        article_user = models.CharField('作者', max_length=100)
        article_user_url = models.URLField('作者URL')
        created = models.DateTimeField(auto_now_add=True)
    
        class Meta:
            ordering = ['-created', ]
    
        def __unicode__(self):
            return self.article_title
        def __str__(self):
            return self.article_title    
    
    class ArticleDetail(models.Model):
        """
            文章详细信息
        """
        image = models.URLField('图片URL' )
        title = models.CharField('文章标题', max_length=100)
        body = models.TextField('文章内容', null=True)
        time = models.CharField('发表时间' , max_length=100, null=True)
        views_count = models.CharField('阅读数', max_length=100)
        public_comments_count = models.CharField('评论数', max_length=100)
        likes_count = models.CharField('喜欢', max_length=100)
        total_rewards_count = models.CharField('打赏', max_length=100)
        created = models.DateTimeField('创建时间', auto_now_add=True)
        article_abstract = models.ForeignKey('ArticleList', verbose_name='文章摘要')
         
        class Meta:
            ordering = ['-created', ]
        
        def __unicode__(self):
            return self.title
        def __str__(self):
            return self.title

然后进入 MySQL 中,设置使用的编码:


    root@127.0.0.1 : (none) 09:41:33> set character_set_client=utf8 ;
    root@127.0.0.1 : (none) 09:41:33> set character_set_connection=utf8 ;
    root@127.0.0.1 : (none) 09:41:33> set character_set_database=utf8 ;
    root@127.0.0.1 : (none) 09:41:33> set character_set_results=utf8 ;
    root@127.0.0.1 : (none) 09:41:33> set character_set_server=utf8 ;
    root@127.0.0.1 : (none) 09:41:33> set character_set_system=utf8 ;

最后验证下是否正确:

设定 mysql 字符集

开始创建数据库:

    # python manage.py makemigrations    
    # python manage.py migrate

爬取“新上榜”的文章:

初始化代码:

    if __name__ == '__main__':
        
        # 从 jianshu_api/settings.py 文件中导入数据库的信息
        host = DATABASES['default']['HOST']
        user = DATABASES['default']['USER']
        passwd = DATABASES['default']['PASSWORD']
        db = DATABASES['default']['NAME']
        port = DATABASES['default']['PORT']
    
        # 保存文章所用到的表
        article_list_table = 'jianshu_articlelist' 
        article_detail_table = 'jianshu_articledetail'
        
        # 使用 colorama 模块进行颜色控制,通过使用 autoreset 参数可以让变色效果只对当前输出起作用,输出完成后颜色恢复默认设置
        init(autoreset=True)
        domain_name = 'http://www.jianshu.com'
        
        # “新上榜”目录的 URL
        base_url = 'http://www.jianshu.com/recommendations/notes'
    
        # 初始化一个 mysql 实例    
        mysql = Mysql(host, user, passwd, db, port)
        
        # 解析 dom,获取文章的详细信息
        get_details(mysql, base_url, domain_name, article_list_table, article_detail_table)

爬取文章详细信息代码:

    def get_details(mysql, base_url, domain_name, article_list_table, article_detail_table):
        """
            爬取文章并获取详细信息
        """
        
        # OrderedDict() 是一个有序的字典,将文章的信息保存在 dict 中
        article_list = OrderedDict()
        article_detail = OrderedDict()
        html = requests.get(base_url).content  
    
        # html 是网页的源码,soup 是获得一个文档的对象
        soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
        tags = soup.find_all('li', class_="have-img")
        print Fore.YELLOW + "---------------all-------------------:",len(tags)
        ct = 1
        
        # 获取文章的信息
        for tag in tags:
            image = tag.img['src'].split('?')[0]
            article_user = tag.p.a.get_text()
            
            # 将 URL 补全
            article_user_url = tag.p.a['href']
            if article_user_url.startswith('/users/'):
                article_user_url = domain_name + article_user_url
            created = tag.p.span['data-shared-at']
            article_title = tag.h4.get_text(strip=True)
            article_title = article_title.replace('"', '\\"')
            article_url = tag.h4.a['href']
            article_id = article_url.split('/')[2]
            if article_url.startswith('/p/'):
                article_url = domain_name + article_url
            tag_a = tag.div.div.find_all('a')
            views = tag_a[0].get_text(strip=True)
            
            # 提取其中的数字 
            views = filter(str.isdigit, str(views))
            
            comments = tag_a[1].get_text(strip=True)
            comments = filter(str.isdigit, str(comments))    
            tag_span = tag.div.div.find_all('span')
            likes = tag_span[0].get_text(strip=True)
            likes = filter(str.isdigit, str(likes))
    
            # 阅读,评论,喜欢一定存在,打赏不一定有
            try:
                tip = tag_span[1].get_text()
                tip = filter(str.isdigit, str(tip))
            except Exception as e:
                tip = 0

获取文章的内容:

    def get_body(article_url):
        """
            获取文章内容
        """
        # 解析文章对应的 URL
        html = requests.get(article_url).content
        soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
        tags = soup('div', class_="show-content")
        body = str(tags[0])

        # 将 body 中 " 转换为 \", ' 转换为 \'
        body = body.replace('"','\\"')
        body = body.replace("'","\\'")
        return body

将数据保存在 mysql 中:

    def insert_data(self, table, my_dict):
            try:    
                # 从 dict 中分别取出 key,value 
                cols = ','.join(my_dict.keys())
                values = '","'.join(my_dict.values())
                values = '"' + values + '"'
                try:
                    sql = "insert into %s (%s) values(%s)" %(table, cols, values)
                    result = self.cur.execute(sql) 
                    self.db.commit()
                    if result:
                        return 1
                    else:
                        return 0 
                except MySQLdb.Error as e:
                    self.db.rollback()
                    if "key 'PRIMARY'" in e.args[1]:
                         print Fore.RED + self.get_current_time(), "数据已存在,未插入数据"
                    else:
                        print Fore.RED + self.get_current_time(), "插入数据失败,原因 %d: %s" % (e.args[0], e.args[1])
            except MySQLdb.Error as e:
                print Fore.RED + self.get_current_time(), "数据库错误,原因%d: %s" % (e.args[0], e.args[1])

代码运行结果:

运行结果

上一节已经提到过,“热门”目录和“新上榜”目录下代码的结构相同,所以以上代码稍作修改完全可以爬取“热门”下的文章,但我将“热门”下爬取到的文章放在了一张表里,大家可以自行尝试。

完整代码请查看项目中的 popular_articles_jianshu.py 文件!

下一节将介绍 API 的生成。


DevOps-田飞雨 》》转载请注明源地址
喜欢 (1)or分享 (0)
发表我的评论
取消评论
*

表情 贴图 加粗 链接 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址