哔哩哔哩热榜爬虫程序及数据处理

本文主要是介绍哔哩哔哩热榜爬虫程序及数据处理，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

哔哩哔哩热榜爬虫程序及数据处理

完整的代码与结果在最下面

一、设计方案

1.爬虫的目标是哔哩哔哩排行榜上视频的信息（https://www.bilibili.com/ranking/all/0/1/7）

2.爬取的内容包括网页上显示的所有内容，有排名标题，播放量，弹幕数，up，得分以及视频的url

3.设计方案：根据作业的要求，制作爬虫程序爬取信息并进行数据处理，整个程序分成四个部分，包括数据爬取：（get_rank），数据清洗与处理：（rubbish），文本分析生成词云：（message），数据分析与可视化：（watch）四个部分，所用到的库有request,BeautifulSoup,csv,collections,jieba,io,wordcloud,matplotlib。使用的IDE为anaconda环境配置的pycharm

设计难点：难点主要在数据处理方面，因为哔哩哔哩排行榜上爬取到的数据全都不是单纯的数字，所以在数据处理时遇到了许多问题，这方面查找资料的时间也最长

二、主题页面的结构特征分析

通过观察网页代码，发现排行榜上的每一个视频的标签为li，类名为rank-item，并且我们通过len函数打印提取到的数量也正好100符合排行榜的视频量，所以我们可以在当中继续得到视频其他信息的属性，在代码中都有注释。

三、网络爬虫程序设计

# 代码中注释部分的print都是为了调试用的

1.数据爬取（get_rank)

在保存数据部分用了self函数创建数据对象来将数据读入video对象中并且放在一个列表里，最后保存在csv文件中

结果:

2.数据清洗与处理（rubbish）

这一部分遇到了几个小问题，包括pycharm控制窗的输出结果不会显示所有数据，以及数据的编码问题，都在网上找到解决的方法，最后将清洗过的数据保存为xls文件

3.文本分析生成词云：（message）

文本分析，包括使用jieba库进行分词和wouldcould生成词云，先用列的标题进行查询，读取标题所在的那一列保存在txt文档中，然后使用jieba库进行分词，使用wouldcould制作词云保存成图片

jieba库分词结果：

保存结果：

4.数据分析与可视化：（watch）

数据分析与可视化，包括绘制折线图，柱形图，直方图，散点图

结果：

完整代码:

  1 import csv
  2 import requests
  3 from bs4 import BeautifulSoup
  4 import pandas as pd
  5 from collections import OrderedDict
  6 import jieba
  7 import io
  8 from scipy.optimize import leastsq
  9 from wordcloud import WordCloud
 10 import matplotlib.pyplot as plt
 11  
 12  
 13 # 注释部分的print都是为了调试用的
 14  
 15 def get_rank():  # 数据爬取与采集
 16     try:
 17         # 发起网络请求
 18         url = 'https://www.bilibili.com/ranking/all/0/1/7'
 19         response = requests.get(url)
 20         html_text = response.text
 21         soup = BeautifulSoup(html_text, 'html.parser')
 22  
 23         # 用来保存视频信息的对象
 24         class Video:
 25             def __init__(self, rank, title, point, visit, review, up, url):
 26                 self.rank = rank
 27                 self.title = title
 28                 self.point = point
 29                 self.visit = visit
 30                 self.review = review
 31                 self.up = up
 32                 self.url = url
 33 def to_csv(self):
 34                 return [self.rank, self.title, self.point, self.visit, self.review, self.up, self.url]
 35  
 36             # 使用静态方法
 37             @staticmethod
 38             def csv_title():
 39                 return ['排名', '标题', '分数', '播放量', '弹幕数', 'UP', 'URL']
 40  
 41         # 提取列表
 42         items = soup.find_all('li', {'class': 'rank-item'})
 43         videos = []  # 保存提取出来的video
 44         for itm in items:
 45             title = itm.find('a', {'class': 'title'}).text  # 标题
 46             point = itm.find('div', {'class': 'pts'}).text  # 综合得分
 47             rank = itm.find('div', {'class': 'num'}).text  # 排名
 48             visit = itm.find('span', {'class': 'data-box'}).text  # 播放量
 49             review = itm.find_all('span', {'class': 'data-box'})[1].text  # 弹幕数
 50             up = itm.find_all('span', {'class': 'data-box'})[2].text  # up
 51             url = itm.find('a', {'class': 'title'}).get('href')  # 获取链接
 52             v = Video(rank, title, point, visit, review, up, url)
 53             videos.append(v)
 54         # 保存
 55         file_name = f'top100.csv'
 56         with open(file_name, 'w', newline='') as f:
 57             pen = csv.writer(f)
 58             pen.writerow(Video.csv_title())
 59             # 导出数据到csv文件中
 60             for v in videos:
 61                 pen.writerow(v.to_csv())
 62         print('保存csv成功')
 63     except:
 64         return "保存csv失败"
 65  
 66  
 67 def rubbish():  # 对数据进行清洗和处理
 68     try:
 69         # pycharm控制窗的输出结果不会显示所有数据，所以在网上得到加入这三行代码进行解决方便查看结果
 70         # 加了这一行那表格的一行就不会分段出现了
 71         pd.set_option('display.width', 1000)
 72         # 显示所有列
 73         pd.set_option('display.max_columns', None)
 74         # 显示所有行
 75         pd.set_option('display.max_rows', None)
 76         # 对齐输出结果
 77         pd.set_option('display.unicode.ambiguous_as_wide', True)
 78         pd.set_option('display.unicode.east_asian_width', True)
 79  
 80         # 使用‘utf-8’会报错，使用其他解码会乱码，最终在网上得到了答案：‘在后面加入指定编译器为python即可’
 81         # 将csv格式数据写入到excel中
 82         df = pd.read_csv('top100.csv', engine='python', error_bad_lines=False)  # 当某行数据有问题时，不报错，直接跳过，处理脏数据时使用
 83         # print(df)   #输出csv表格中结果
 84         data = OrderedDict()  # 有序字典
 85         # print(df.columns)     #列名
 86         # 构建excel格式
 87         for line in list(df.columns):
 88             data[line] = list(df[line])
 89         obj = pd.DataFrame(data)
 90         obj.to_excel('top100.xls', index=False)
 91         # 查看统计信息，设置参数buf来存储字符串使数据不打印出来
 92         buf = io.StringIO()
 93         df.info(buf=buf)
 94         s = buf.getvalue()
 95         print(s)
 96         print('保存xls成功')
 97     except:
 98         return "保存xls失败"
 99  
100  
101 rubbish()
102  
103  
104 def message():  # 文本分析，包括使用jieba库进行分词和wouldcould生成词云
105     try:
106         # 用DictReader读取csv的某一列，用列的标题查询
107         with open('top100.csv', 'rt') as csvfile:
108             reader = csv.DictReader(csvfile)
109             column = [row['标题'] for row in reader]
110         # print(column)
111         # 将标题列保存到txt文件中
112         file = open('top100标题.txt', 'w')
113         file.write(str(column))
114         # 关闭文件
115         file.close()
116         print('保存txt成功')
117     except:
118         return "保存txt失败"
119  
120     try:
121         # 使用jieba库进行中文分词
122         final = ""
123         # 文件夹位置
124         filename = r"top100标题.txt"
125         # 打开文件夹，读取内容，并进行分词
126         with open(filename, 'r', encoding='gb18030') as f:
127             for line in f.readlines():
128                 word = jieba.cut(line)
129                 for i in word:
130                     final = final + i + " "
131         # print(final)
132         print('jieba分词成功')
133     except:
134         return 'jieba分词失败'
135  
136     try:
137         # 使用worldcould制作词云
138         # 打开文本
139         text = open('top100标题.txt').read()
140         # 生成对象
141         wc = WordCloud(font_path='C:\Windows\Fonts\simfang.ttf',
142                        width=800,
143                        height=600,
144                        mode='RGBA',
145                        background_color=None).generate(text)
146         # 显示词云
147         plt.imshow(wc, interpolation='bilinear')
148         plt.axis('off')
149         plt.show()
150         # 保存到文件
151         wc.to_file('标题词云.png')  # 生成图像是透明的
152         print('保存词云成功')
153     except:
154         return '保存词云失败'
155  
156  
157 message()
158  
159  
160 def watch():  # 数据分析与可视化，包括绘制折线图，柱形图，直方图，散点图
161     try:
162         # 获得绘图数据
163         point = pd.read_csv('top100.csv', engine='python')
164         # print(data.isnull().sum)
165 # 将字符串数据进行去除替换
166         rank = point['排名']
167         # print(rank)
168         points = point['分数'].map(lambda x: int(x.replace('综合得分', '')))
169         # print(points)
170         # 用来正常显示中文标签
171         plt.rcParams['font.sans-serif'] = ['SimHei']
172         # 用来正常显示负号
173 plt.rcParams['axes.unicode_minus'] = False
174         print('获取绘图数据成功')
175     except:
176         return '获取数据失败'
177  
178     try:
179         # 根据数据绘制折线图
180         plt.plot(rank,
181                  points,
182                  c='red',
183                  alpha=0.5)
184         # 绘图表区域着色
185         plt.fill_between(rank,
186                          points,
187 facecolor='blue',
188                          alpha='0.2')
189         # 设置图形的格式
190         plt.title('top100综合热度得分折线图',
191                   fontsize=24)
192         plt.xlabel('排名',
193                    fontsize=24)
194         plt.ylabel('热度得分',
195                    fontsize=12)
196         # 参数刻度线样式设置
197         plt.tick_params(axis='both',
198                         which='major',
199                         labelsize=10)
200 # 保存图片
201         plt.savefig(fname="top100综合热度得分折线图.png",
202                     figsize=[10, 10])
203         # 显示折线图
204         plt.show()
205         print('折线图保存成功')
206     except:
207         return '折线图保存失败'
208  
209     try:
210         # 根据数据绘制柱形图
211         # 创建基础图
212 fig = plt.figure()
213         # 在基础图上仅绘制一个图，括号中的三个参数代表基础图中的统计图布局，参数一次代表：图的行数量、图的列数量、第几个图。本例中，为1行1列，第一个图
214 bar1 = fig.add_subplot(1, 1, 1)
215         # 绘制柱形图,align表示条形与标签中间对齐。
216         bar1.bar(rank,
217                  points,
218                  align='center',
219                  color="blue")
220         # 设置x、y轴标签
221         plt.xlabel("排名")
222         plt.ylabel("热度得分")
223         # 设置统计图标题
224         plt.title("top100综合热度得分柱形图")
225         # 保存图片
226         plt.savefig(fname="top100综合热度得分柱形图.png",
227 figsize=[10, 10])
228         # 显示统计图
229         plt.show()
230         print('柱形图保存成功')
231     except:
232         return '柱形图保存失败'
233  
234     try:
235         # 绘制直方图
236         # 绘制基础图
237         fig = plt.figure()
238         hist1 = fig.add_subplot(1, 1, 1)
239         # 绘制直方图
240         # bins=50 表示每个变量的 值应该被分成 50 份。normed=False 表示直方图显示的是频率分布
241   hist1.hist(points,
242                          bins=50,
243                    color="blue",
244                    density=False)
245         # 确定坐标轴位置
246         hist1.xaxis.set_ticks_position("bottom")
247         hist1.yaxis.set_ticks_position("left")
248         # 设置坐标轴标签
249         plt.xlabel("热度得分")
250         plt.ylabel("人数")
251         # 设置标题
252         plt.title("top100综合热度得分直方图")
253         # 保存图片
254         plt.savefig(fname="top100综合热度得分直方图.png", figsize=[10, 10])
255         # 显示图形
256         plt.show()
257         print('直方图保存成功')
258     except:
259 return '直方图保存失败'
260 try:
261         # 绘制散点图
262         fig = plt.figure()
263         scatter1 = fig.add_subplot(1, 1, 1)
264         # 导入数据
265         scatter1.scatter(rank, points)
266         # 确定坐标轴位置
267         scatter1.xaxis.set_ticks_position('bottom')
268         scatter1.yaxis.set_ticks_position('left')
269         # 设置坐标轴标签
270         plt.xlabel("排名")
271         plt.ylabel("热度得分")
272         # 设置图表标题
273         plt.title("top100综合热度得分散点图")
274         # 保存图片
275         plt.savefig(fname="top100综合热度得分散点图.png",
276                     figsize=[10, 10])
277 # 显示图形
278 plt.show()
279         print('散点图保存成功')
280     except:
281         return '散点图保存失败'
282  
283  
284 watch()

运行结果: