前言:
2019年底,一场突如其来的新冠疫情打破了人们准备欢度春节的节奏,许多人因为疫情无法过个好年,而接下来的疫情发展超出了所有人的预料...截至2021年6月,全球确诊已达1亿7000余万,在这次疫情中死去的人数三百余万...
我们每天都可以在各个新闻报道或者网站上看到疫情的实时数据,但这些数据大多是零碎的,我们无法直观的感受这次疫情在全球范围内的影响。
在学习了爬虫以后,我们可以利用爬虫获取各个时间和各个地区的疫情情况,然后将这些数据可视化,可以让我们一目了然疫情动态,还可以加深我们对python的掌握和运用。
数据来源:
丁香医生:https://ncov.dxy.cn/ncovh5/view/pneumonia
页面分析:
要爬取网页数据,首先要了解网页结构和网页的数据流,F12查看网页源代码:
可以发现<script id="getListByCountryTypeService2true">这里对应着每一个国家的相关数据,其中发现有一个属性statisticsData,指向的是json数据链接:
随便下载一个打开看看:
Data中包含的字段:
confirmedCount\confirmedIncr\curedCount\curedIncr\curentConfirmedCount\currentConfirmedIncr\dateId\deadCount\deadIncr\suspectedCount\suspectedCountIncr
页面下方还有国内各个省市的数据:
同样,这些数据后面statisticsData也指向一个json数据链接,查看里面的数据字段。数据非常的全面,由此通过分析页面我们找到了中国和世界的疫情详细历史数据。
下面开始爬取:
第一步
# 获取网页中包含数据链接的列表信息
import requests
import re
import json
from bs4 import BeautifulSoup
def getOriHtmlText(url,code='utf-8'):
try:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36'
}
r=requests.get(url,timeout=30,headers=headers)
r.raise_for_status()
r.encoding=code
return r.text
except:
return "There are some errors when get the original html!"
def getTheList(url):
html=getOriHtmlText(url)
soup=BeautifulSoup(html,'html.parser')
htmlBodyText=soup.body.text
# 获取国家数据
worldDataText=htmlBodyText[htmlBodyText.find('window.getListByCountryTypeService2true = '):]
worldDataStr = worldDataText[worldDataText.find('[{'):worldDataText.find('}catch')]
worldDataJson=json.loads(worldDataStr)
with open("../data/worldData.json","w") as f:
json.dump(worldDataJson,f)
print("写入国家数据文件成功!")
# 获取各省份数据
provinceDataText = htmlBodyText[htmlBodyText.find('window.getAreaStat = '):]
provinceDataStr = provinceDataText[provinceDataText.find('[{'):provinceDataText.find('}catch')]
provinceDataJson=json.loads(provinceDataStr)
with open("../data/provinceData.json","w") as f:
json.dump(provinceDataJson,f)
print("写入省份数据文件成功!")
getTheList("https://ncov.dxy.cn/ncovh5/view/pneumonia")
获得两个包含数据链接的.json文件:
第二步
清洗数据获得链接真实所对应的数据
# 处理所获得的含链接的列表,获取真实所对应的数据
import json
import requests
import time
def deal_worlddatalist():
with open("../data/worldData.json",'r') as f:
worldDataJson=json.load(f)
for i in range(0,len(worldDataJson)):
print(worldDataJson[i]['provinceName']+" "+worldDataJson[i]['countryShortCode']+" "+worldDataJson[i]['countryFullName']+" "+worldDataJson[i]['statisticsData'])
return worldDataJson
def get_the_world_data():
# 获取每个国家对应的json
worldDataJson=deal_worlddatalist()
# 记录错误数量
errorNum=0
for i in range(0,len(worldDataJson)):
provinceName=worldDataJson[i]['provinceName']
try:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36'
}
r = requests.get(worldDataJson[i]['statisticsData'], timeout=30, headers=headers)
r.raise_for_status()
r.encoding = 'utf-8'
everCountryDataJson = json.loads(r.text)
toWriteFilePath="../data/worldData/"+provinceName+".json"
with open(toWriteFilePath,'w') as file:
json.dump(everCountryDataJson, file)
print(provinceName + " 数据得到!")
time.sleep(10)
except:
errorNum+=1
print("在获取 "+provinceName+" 数据时出错!")
print("各国数据获取完成!")
print("错误数据量为:"+str(errorNum))
# 处理各省数据列表
def deal_provincedatalist():
with open("../data/provinceData.json",'r') as f:
provinceDataJson=json.load(f)
for i in range(0,len(provinceDataJson)):
print(provinceDataJson[i]['provinceName']+" "+provinceDataJson[i]['provinceShortName']+" "+provinceDataJson[i]['statisticsData'])
return provinceDataJson
# 获取各个省份对应的json
def get_the_province_data():
provinceDataJson=deal_provincedatalist()
# 统计出现爬取错误的数据数量
errorNum = 0
for i in range(0,len(provinceDataJson)):
provinceName=provinceDataJson[i]['provinceName']
try:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
r=requests.get(provinceDataJson[i]['statisticsData'],timeout=30,headers=headers)
r.raise_for_status()
r.encoding='utf-8'
everProvinceDataJson=json.loads(r.text)
toWriteFilePath="../data/provinceData/"+provinceName+".json"
with open(toWriteFilePath,'w') as file:
json.dump(everProvinceDataJson,file)
print(provinceName+" 数据得到!")
time.sleep(15)
except:
errorNum+=1
print("在获取 "+provinceName+" 数据时出错")
print("各省份数据获取完成!")
print("错误数据量为:"+str(errorNum))
get_the_world_data()
get_the_province_data()
成功获取国内和外国疫情的json数据
获取的数据都是json格式的,现在我们将数据导入数据库,这里使用的是mysql,先给python安装pymysql库。
我们在目标文件夹创建一个.sql的文件,用文本打开编写建表语句:
运行mysql,首先先创建一个数据库
进入数据库后,运行这个文件:source E:\MySQL\mysql-8.0.25-winx64\wpzy.sql
查看表结构:show full columns from china_provincedata;
准备就绪,接下来进行第三步:将json写入数据库中
# 将json数据写入数据库
import json
import pymysql
import pandas as pd
nameMap = {'毛里求斯':'Mauritius','圣皮埃尔和密克隆群岛':'St. Pierre and Miquelon','安圭拉':'Anguilla','荷兰加勒比地区':'Caribbean Netherlands','圣巴泰勒米岛':'Saint Barthelemy','英属维尔京群岛':'British Virgin Is.','科摩罗':'Comoros','蒙特塞拉特':'Montserrat','塞舌尔':'Seychelles','特克斯和凯科斯群岛':'Turks and Caicos Is.','梵蒂冈':'Vatican','圣其茨和尼维斯':'Saint Kitts and Nevis','库拉索岛':'Curaçao','多米尼克':'Dominica','圣文森特和格林纳丁斯':'St. Vin. and Gren.','斐济':'Fiji','圣卢西亚':'Saint Lucia','北马里亚纳群岛联邦':'N. Mariana Is.','格林那达':'Grenada','安提瓜和巴布达':'Antigua and Barb.','列支敦士登':'Liechtenstein','圣马丁岛':'Saint Martin','法属波利尼西亚':'Fr. Polynesia','美属维尔京群岛':'U.S. Virgin Is.','荷属圣马丁':'Sint Maarten','巴巴多斯':'Barbados','开曼群岛':'Cayman Is.','摩纳哥':'Monaco','阿鲁巴':'Aruba','特立尼达和多巴哥':'Trinidad and Tobago','钻石公主号邮轮':'Princess','瓜德罗普岛':'Guadeloupe','关岛':'Guam','直布罗陀':'Gibraltar','马提尼克':'Martinique','马耳他':'Malta','法罗群岛':'Faeroe Is.','圣多美和普林西比':'São Tomé and Principe','安道尔':'Andorra','根西岛':'Guernsey','泽西岛':'Jersey','佛得角':'Cape Verde','马恩岛':'Isle of Man','留尼旺':'Reunion','圣马力诺':'San Marino','马尔代夫':'Maldives','马约特':'Mayotte','巴林':'Bahrain','新加坡': 'Singapore Rep.', '多米尼加': 'Dominican Rep.', '巴勒斯坦': 'Palestine', '巴哈马': 'The Bahamas', '东帝汶': 'East Timor', '阿富汗': 'Afghanistan', '几内亚比绍': 'Guinea Bissau', '科特迪瓦': "Côte d'Ivoire", '锡亚琴冰川': 'Siachen Glacier', '英属印度洋领土': 'Br. Indian Ocean Ter.', '安哥拉': 'Angola', '阿尔巴尼亚': 'Albania', '阿联酋': 'United Arab Emirates', '阿根廷': 'Argentina', '亚美尼亚': 'Armenia', '法属南半球和南极领地': 'French Southern and Antarctic Lands', '澳大利亚': 'Australia', '奥地利': 'Austria', '阿塞拜疆': 'Azerbaijan', '布隆迪共和国': 'Burundi', '比利时': 'Belgium', '贝宁': 'Benin', '布基纳法索': 'Burkina Faso', '孟加拉国': 'Bangladesh', '保加利亚': 'Bulgaria', '波黑': 'Bosnia and Herz.', '白俄罗斯': 'Belarus', '伯利兹': 'Belize', '百慕大': 'Bermuda', '玻利维亚': 'Bolivia', '巴西': 'Brazil', '文莱': 'Brunei', '不丹': 'Bhutan', '博茨瓦纳': 'Botswana', '中非共和国': 'Central African Rep.', '加拿大': 'Canada', '瑞士': 'Switzerland', '智利': 'Chile', '中国': 'China', '象牙海岸': 'Ivory Coast', '喀麦隆': 'Cameroon', '刚果(金)': 'Dem. Rep. Congo', '刚果(布)': 'Congo', '哥伦比亚': 'Colombia', '哥斯达黎加': 'Costa Rica', '古巴': 'Cuba', '北塞浦路斯': 'N. Cyprus', '塞浦路斯': 'Cyprus', '捷克': 'Czech Rep.', '德国': 'Germany', '吉布提': 'Djibouti', '丹麦': 'Denmark', '阿尔及利亚': 'Algeria', '厄瓜多尔': 'Ecuador', '埃及': 'Egypt', '厄立特里亚': 'Eritrea', '西班牙': 'Spain', '爱沙尼亚': 'Estonia', '埃塞俄比亚': 'Ethiopia', '芬兰': 'Finland', '斐': 'Fiji', '福克兰群岛': 'Falkland Islands', '法国': 'France', '加蓬': 'Gabon', '英国': 'United Kingdom', '格鲁吉亚': 'Georgia', '加纳': 'Ghana', '几内亚': 'Guinea', '冈比亚': 'Gambia', '赤道几内亚': 'Eq. Guinea', '希腊': 'Greece', '格陵兰': 'Greenland', '危地马拉': 'Guatemala', '法属圭亚那': 'French Guiana', '圭亚那': 'Guyana', '洪都拉斯': 'Honduras', '克罗地亚': 'Croatia', '海地': 'Haiti', '匈牙利': 'Hungary', '印度尼西亚': 'Indonesia', '印度': 'India', '爱尔兰': 'Ireland', '伊朗': 'Iran', '伊拉克': 'Iraq', '冰岛': 'Iceland', '以色列': 'Israel', '意大利': 'Italy', '牙买加': 'Jamaica', '约旦': 'Jordan', '日本': 'Japan', '哈萨克斯坦': 'Kazakhstan', '肯尼亚': 'Kenya', '吉尔吉斯斯坦': 'Kyrgyzstan', '柬埔寨': 'Cambodia', '韩国': 'Korea', '科索沃': 'Kosovo', '科威特': 'Kuwait', '老挝': 'Lao PDR', '黎巴嫩': 'Lebanon', '利比里亚': 'Liberia', '利比亚': 'Libya', '斯里兰卡': 'Sri Lanka', '莱索托': 'Lesotho', '立陶宛': 'Lithuania', '卢森堡': 'Luxembourg', '拉脱维亚': 'Latvia', '摩洛哥': 'Morocco', '摩尔多瓦': 'Moldova', '马达加斯加': 'Madagascar', '墨西哥': 'Mexico', '北马其顿': 'Macedonia', '马里': 'Mali', '缅甸': 'Myanmar', '黑山': 'Montenegro', '蒙古': 'Mongolia', '莫桑比克': 'Mozambique', '毛里塔尼亚': 'Mauritania', '马拉维': 'Malawi', '马来西亚': 'Malaysia', '纳米比亚': 'Namibia', '新喀里多尼亚': 'New Caledonia', '尼日尔': 'Niger', '尼日利亚': 'Nigeria', '尼加拉瓜': 'Nicaragua', '荷兰': 'Netherlands', '挪威': 'Norway', '尼泊尔': 'Nepal', '新西兰': 'New Zealand', '阿曼': 'Oman', '巴基斯坦': 'Pakistan', '巴拿马': 'Panama', '秘鲁': 'Peru', '菲律宾': 'Philippines', '巴布亚新几内亚': 'Papua New Guinea', '波兰': 'Poland', '波多黎各': 'Puerto Rico', '朝鲜': 'Dem. Rep. Korea', '葡萄牙': 'Portugal', '巴拉圭': 'Paraguay', '卡塔尔': 'Qatar', '罗马尼亚': 'Romania', '俄罗斯': 'Russia', '卢旺达': 'Rwanda', '西撒哈拉': 'W. Sahara', '沙特阿拉伯': 'Saudi Arabia', '苏丹': 'Sudan', '南苏丹': 'S. Sudan', '塞内加尔': 'Senegal', '所罗门群岛': 'Solomon Is.', '塞拉利昂': 'Sierra Leone', '萨尔瓦多': 'El Salvador', '索马里兰': 'Somaliland', '索马里': 'Somalia', '塞尔维亚': 'Serbia', '苏里南': 'Suriname', '斯洛伐克': 'Slovakia', '斯洛文尼亚': 'Slovenia', '瑞典': 'Sweden', '斯威士兰': 'Swaziland', '叙利亚': 'Syria', '乍得': 'Chad', '多哥': 'Togo', '泰国': 'Thailand', '塔吉克斯坦': 'Tajikistan', '土库曼斯坦': 'Turkmenistan', '特里尼达和多巴哥': 'Trinidad and Tobago', '突尼斯': 'Tunisia', '土耳其': 'Turkey', '坦桑尼亚': 'Tanzania', '乌干达': 'Uganda', '乌克兰': 'Ukraine', '乌拉圭': 'Uruguay', '美国': 'United States', '乌兹别克斯坦': 'Uzbekistan', '委内瑞拉': 'Venezuela', '越南': 'Vietnam', '瓦努阿图': 'Vanuatu', '西岸': 'West Bank', '也门共和国': 'Yemen', '南非': 'South Africa', '赞比亚共和国': 'Zambia', '津巴布韦': 'Zimbabwe'}
# 将各国json数据写入数据库
def importWorldJsonToDB():
# 建立数据库连接
db = pymysql.connect(
host="127.0.0.1",
user="root",
password="123456",
database="test_db"
)
# 使用cursor()方法创建一个游标对象cursor
cursor=db.cursor()
deleteSql="truncate countrydata"
#每次都删除全部数据重新添加
try:
cursor.execute(deleteSql)
db.commit()
print("删除国家数据成功!进行重新导入!")
except:
print("删除国家数据时出错!")
db.rollback()
with open("E:/Install/python3.9/data/worldData.json",'r') as f:
worldDataJson=json.load(f)
# 批量插入的数据集合
insertValue=[]
# 所插入的主键记录
dataCount=1
for i in range(0, len(worldDataJson)):
# 获取每一个国家的名称,并打开其对应的json文件
countryName=worldDataJson[i]['provinceName']
countryShortCode=worldDataJson[i]['countryShortCode']
continent=worldDataJson[i]['continents']
countryFullName=nameMap[worldDataJson[i]['provinceName']]
countryJsonPath="E:/Install/python3.9/data/worldData/"+countryName+".json"
with open(countryJsonPath) as f:
countryJson=json.load(f)
for j in range(0,len(countryJson['data'])):
tupleData=()
tupleData+=(
dataCount,countryJson['data'][j]['confirmedCount'],countryJson['data'][j]['confirmedIncr'],
countryJson['data'][j]['curedCount'],countryJson['data'][j]['curedIncr'],countryJson['data'][j]['currentConfirmedCount'],
countryJson['data'][j]['currentConfirmedIncr'],countryJson['data'][j]['dateId'],countryJson['data'][j]['deadCount'],
countryJson['data'][j]['deadIncr'],countryJson['data'][j]['suspectedCount'],countryJson['data'][j]['suspectedCountIncr'],
countryName,countryShortCode,continent,countryFullName
)
insertValue.append(tupleData)
dataCount+=1
insertSql="INSERT INTO countrydata (id,confirmedCount,confirmedIncr,curedCount,curedIncr,currentConfirmedCount,currentConfirmedIncr,dateId,deadCount,deadIncr,suspectedCount,suspectedCountIncr,countryName,countryShortCode,continent,countryFullName) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
# 执行数据插入
try:
cursor.executemany(insertSql,insertValue)
db.commit()
print("插入国家数据成功!")
except:
print("插入国家数据失败!")
db.rollback()
# 关闭连接
cursor.close()
db.close()
# 将各省数据json数据写入数据库
def importProvinceJsonToDB():
# 建立数据库连接
db=pymysql.connect(
host="127.0.0.1",
user="root",
password="123456",
database="test_db"
)
# 使用cursor()方法创建一个游标对象cursor
cursor=db.cursor()
#每次都删除全部数据重新添加
deleteSql="truncate china_provincedata"
try:
cursor.execute(deleteSql)
db.commit()
print("删除省份数据成功!进行重新导入!")
except:
print("删除省份数据时出错!")
db.rollback()
with open("E:/Install/python3.9/data/provinceData.json",'r') as f:
provinceDataJson=json.load(f)
#批量插入的数据集合
insertValue=[]
# 所插入的主键记录
dataCount=1
for i in range(0,len(provinceDataJson)):
# 获取每一个省份的名称,并打开其对应的json文件
provinceName=provinceDataJson[i]['provinceName']
provinceShortName=provinceDataJson[i]['provinceShortName']
provinceJsonPath="E:/Install/python3.9/data/provinceData/"+provinceName+".json"
with open(provinceJsonPath) as f:
provinceJson=json.load(f)
for j in range(0,len(provinceJson['data'])):
tupleData=()
tupleData+=(
dataCount,provinceJson['data'][j]['confirmedCount'],provinceJson['data'][j]['confirmedIncr'],provinceJson['data'][j]['curedCount'],provinceJson['data'][j]['curedIncr'],provinceJson['data'][j]['currentConfirmedCount'],provinceJson['data'][j]['currentConfirmedIncr'],provinceJson['data'][j]['dateId'],provinceJson['data'][j]['deadCount'],provinceJson['data'][j]['deadIncr'],provinceJson['data'][j]['suspectedCount'],provinceJson['data'][j]['suspectedCountIncr'],provinceName,provinceShortName)
insertValue.append(tupleData)
dataCount+=1
insertSql="INSERT INTO china_provincedata(id,confirmedCount,confirmedIncr,curedCount,curedIncr,currentConfirmedCount,currentConfirmedIncr,dateId,deadCount,deadIncr,suspectedCount,suspectedCountIncr,provinceName,provinceShortName) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
# 执行数据插入
try:
cursor.executemany(insertSql,insertValue)
db.commit()
print("插入省份数据成功!")
except:
print("插入省份数据失败!")
db.rollback()
# 关闭连接
cursor.close()
db.close()
# 反转名字字典
def inverse():
print("hello")
print(dict([(v,k) for (k,v) in nameMap.items()]))
def importWorldConToDB():
# 建立数据库连接
db = pymysql.connect(
host="127.0.0.1",
user="root",
password="123456",
database="test_db"
)
# 使用cursor()方法创建一个游标对象cursor
cursor = db.cursor()
deleteSql = "truncate world_total_data"
try:
cursor.execute(deleteSql)
db.commit()
print("删除世界数据成功!进行重新导入!")
except:
print("删除世界数据时出错!")
db.rollback()
searchSql="select sum(confirmedCount),sum(confirmedIncr),sum(curedCount),sum(curedIncr),sum(currentConfirmedCount),sum(currentConfirmedIncr),dateId,sum(deadCount),sum(deadIncr),sum(suspectedCount),sum(suspectedCountIncr) from countrydata group by dateId order by dateId"
cursor.execute(searchSql)
searchList=cursor.fetchall()
dataList=[]
i=1
for data in searchList:
temp=()
temp+=(i,int(data[0]),int(data[1]),int(data[2]),int(data[3]),int(data[4]),int(data[5]),int(data[6]),int(data[7]),int(data[8]),int(data[9]),int(data[10]))
dataList.append(temp)
i+=1
# 开始插入数据
insertSql="INSERT INTO world_total_data (id,confirmedCount,confirmedIncr,curedCount,curedIncr,currentConfirmedCount,currentConfirmedIncr,dateId,deadCount,deadIncr,suspectedCount,suspectedCountIncr) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
# 执行数据插入
try:
cursor.executemany(insertSql, dataList)
db.commit()
print("插入世界总体数据成功!")
except:
print("插入世界总体数据失败!")
db.rollback()
# 关闭连接
cursor.close()
db.close()
importWorldJsonToDB()
importProvinceJsonToDB()
importWorldConToDB()
导入报错,检查发现是数据库中表的数据字段打错了。。。。重来!
导入数据库成功~
接下来将数据库文件导出到excel表格:
select * from china_provincedata
into outfile 'E:/MySQL/mysql-8.0.25-winx64/china_provincedata.xlsx';
select * from countrydata
into outfile 'E:/MySQL/mysql-8.0.25-winx64/countrydata.xlsx';
select * from world_total_data
into outfile 'E:/MySQL/mysql-8.0.25-winx64/world_total_data.xlsx';
获得文件:
内容:
数据分析
我们取湖北省疫情最严重的一段时间:20200120-20200520期间的当天当前确诊人数,新建一个csv,将其制成折线图:
import numpy as np
import matplotlib.pyplot as plt
import csv
import pandas as pd
data = pd.read_csv('湖北省20200120-20200520.csv',encoding='gbk')
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['font.family']='sans-serif'
plt.rcParams['axes.unicode_minus'] = False
fig=plt.figure(figsize=(15,10))
xdata=[]
ydata=[]
xdata=data.iloc[:,1]
ydata=data.iloc[:,0]
plt.xticks([])
plt.plot(xdata,ydata)
plt.xlabel('时间')
plt.ylabel('当前确诊人数')
plt.title('湖北省20200120-20200520疫情走势')
plt.show()
从图中可以看出,疫情在湖北迅速爆发,但是在国家的管控下,得到了很好的遏制,感染人数在百天时间里快速降低直至清零。
总结
今天,疫情在国内已经基本得到了控制,而国外诸多国家依旧疫情肆虐。这次学习让我更加直观的看到,疫情在国内的发展趋势,这得益于国家的领导以及全国人民的努力和奉献。
完成此次设计,我学到了非常非常多东西,查阅了很多资料,也产生了解决不完的各种疑问和错误。。。这次的实践,我也发现了自己许多不足,对数据可视化的不熟练、英语程度不够用、代码细节处理不好、甚至某些基础掌握都不够牢靠...
纸上得来终觉浅,绝知此事要躬行。只有经过实践,才能将课堂上学习到的知识实实在在的掌握,更能在实践中学到一些课堂上没有的东西,不断进步,触类旁通。