前言

经过一系列的测试,技术的可行性,这里最终定稿,开始搞爬虫部分,用来爬取数据。

1.MongoDB数据库
这里数据库最终还是敲定了MongoDB,这里先讲一下选择该数据库的原因,随着人工智能和大数据发展,关系型数据库已然很难满足处理海量数据的要求,这里需要一种结构更加简单,并发量更简单并且支持分布式系统的数据库。
MongoDB是一个面向文档存储的非关系性数据库,基于C++开发,该数据库将数据存储为一个文档.
数据结构由“键/值”对(key=>value)组成,字段值可以包含其他文档,数组及文档数组,类似于Json对象,如保存一本书的信息,格式如下:

{
    "name":"Scrapy网络爬虫",
    "description":"世荣是个爬虫爱好者",
    "author":["世荣","小李"],
    "price":59
}

这里对比一下SQL和MongoDB的术语不同之处:
MongoDB与SQL术语区别
安装好之后,把测试好的代码先跑一遍。

2.代码测试

import re
import requests
import json
from pymongo import MongoClient
class crawler():
    def __init__(self):
        # 入口url
        self.start_url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
        # 构造响应头
        self.headers = {
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
    (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"
        }
        # 初始化MongoDB数据库连接
        self.client = MongoClient()
        self.collection = self.client['test']['covid_19']


    # 请求数据并解析
    def parse(self,url):
        rest = requests.get(url, headers=self.headers)
        return rest.content.decode()

    # 获取数据
    def get_content_list(self,str_html):
        json_html = json.loads(str_html)
        # 获取data对应的数据
        data = json_html['data']
        # 由于data对应的数据是字符串的json数据因此需要进步转换成json数据
        json_data = json.loads(data)

        # 按照省进行分组
        province_list = json_data['areaTree'][0]['children']
        # 遍历省 获取没个省下的区域数据
        for province in province_list:
            # 按照区域进行分组
            area_list = province['children']
            for area in area_list:
                item = {}
                item['省'] = province['name']
                item['市'] = area['name']
                item['现有确诊'] = area['total']['nowConfirm']
                item['累计确诊'] = area['total']['confirm']
                item['治愈人数'] = area['total']['heal']
                item['治愈率'] = area['total']['healRate']
                item['死亡人数'] = area['total']['dead']
                item['死亡率'] = area['total']['deadRate']
                print(item)
                self.save(item)

    # 保存数据
    def save(self,item):
        self.collection.insert(item)

    # 主函数
    def run(self):
        str_html = self.parse(self.start_url)
        self.get_content_list(str_html)

if __name__ == '__main__':
    covid = crawler()
    covid.run()

响应数据

最后修改:2021 年 11 月 07 日 05 : 01 PM
如果觉得这篇文章不错,不妨赏我碎银几两。