词频、分词和可视化结合爬虫，做一些作业。

• 爬虫库requests
• 词频统计库collections
• 数据处理库numpy
• 结巴分词库jieba
• 可视化库pyecharts等等。

数据的话直接从网上抠一些东西，这里抠一篇新闻。要导入的库，一次性导入：

 1 import collections
 2 import re
 3 import jieba
 4 import requests
 5 import parsel
 6 from pyecharts.charts import Bar
 7 from pyecharts.globals import ThemeType
 8 import pyecharts.options as opts
 9 from stylecloud import stylecloud
10 from wordcloud import WordCloud
11 from PIL import Image
12 from matplotlib import pyplot as plt
13 import numpy as np

第一部分，提取网页内容并写入到文档。

 1 def get_text():
 2     url = 'http://cpc.people.com.cn/n1/2022/0110/c164113-32327931.html'
 3     headers = {
 4         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
 5     }
 6 
 7     response = requests.get(url=url, headers=headers)
 8     response.raise_for_status()
 9     response.encoding = response.apparent_encoding
10     print(response.text)
11     selector = parsel.Selector(response.text)
12     textResults = selector.xpath('//div[@class="show_text"]/p/text()').getall()
13     # 这种方式没有获取到粗体
14     with open('test.txt', mode='w+', encoding='utf-8') as f:
15         for item in textResults:
16             f.write(item + '\n') #

第二部分，词频统计，用collections，以便做统计词频的条形图的时候使用。

 1 def words_counts():
 2     with open('test.txt', mode='r', encoding='utf-8') as f:
 3         strData = f.read()
 4 
 5     # 替换符合parrtern的文本
 6     pattern = re.compile(r'\t|,|/|。|\n|\.|-|:|;|\)|\(|\?|，。，！”"')
 7     strData = re.sub(pattern, '', strData)  # 将符合模式的字符去除
 8 
 9     # 开始分词，精准模式
10     words = jieba.cut(strData, cut_all=False)
11     resultWords = [] # 空列表
12     # 自定义停用词
13     stopWords = [u'的', u'要', u'“', u'”', u'和', u'，', u'为', u'是',
14                     '以' u'随着', u'对于', u'对', u'等', u'能', u'都', u'。',
15                     u' ', u'、', u'中', u'在', u'了', u'通常', u'如果', u'我',
16                     u'她', u'（', u'）', u'他', u'你', u'？', u'—', u'就',
17                     u'着', u'说', u'上', u'这', u'那', u'有', u'也',
18                     u'什么', u'·', u'将', u'没有', u'到', u'不', u'去']
19     #
20     for word in words:
21         if word not in stopWords:
22             resultWords.append(word)
23     # print(resultWords) #  打印结果
24 
25     # 开始统计词频
26     word_counts = collections.Counter(resultWords) # 一个词频统计对象
27     # print(word_counts)
28 
29     # 获取高频词的列表
30     word_counts_all = word_counts.most_common() # 一个列表，列表里是元组
31     # print(word_counts_all)
32     word_counts_top10 = word_counts.most_common(10)
33     return word_counts_top10

第三部分，利用stylecloud和wordcloud制作词。

首先是stylecloud：

 1 def gen_style_words():
 2     with open('test.txt', mode='r', encoding='utf-8') as f:
 3         word_list = jieba.cut(f.read())
 4         print(word_list)
 5         result_words = ' '.join(word_list)
 6         print(result_words)
 7     # 制作词云
 8     # 停用词
 9     stopWords = [u'的', u'要', u'“', u'”', u'和', u'，', u'为', u'是',
10                  '以' u'随着', u'对于', u'对', u'等', u'能', u'都', u'。',
11                  u' ', u'、', u'中', u'在', u'了', u'通常', u'如果', u'我',
12                  u'她', u'（', u'）', u'他', u'你', u'？', u'—', u'就',
13                  u'着', u'说', u'上', u'这', u'那', u'有', u'也',
14                  u'什么', u'·', u'将', u'没有', u'到', u'不', u'去']
15     stylecloud.gen_stylecloud(
16         text=result_words,
17         size=1280,  # stylecloud的大小，长度和宽度,
18         font_path='C:\\Windows\\Fonts\\simhei.ttf',  # 字体路径
19         max_words=150,  # stylecloud中能容的最多词数
20         max_font_size=200,  # 最大字号
21         # invert_mask=, # 蒙版
22         custom_stopwords=stopWords,  # 停用词
23         output_name='1.png',  # 输出的名字
24     )

结果展示：

其次是worldcloud：

 1 def word_cloud_style():
 2     """
 3     另外一种生成词云的方法
 4     """
 5     # f = open('../Spiders/content.txt', 'r', encoding='utf-8')  # 这是数据源，也是想生成词云的数据
 6     # txt = f.read()  # 读取文件
 7     # print(type(txt))
 8     # print('=========================================')
 9     # f.close()  # 关闭文件，其实可以用withopen
10     with open('test.txt', mode='r', encoding='utf-8') as f:
11         txt = f.read()
12     # 如果是文章的话，需要用到jieba分词，分完之后也可以自己处理下再生成词云
13     newTxt = re.sub("A-Z0-9-a-z\!\%\[\]\,\。", "", txt)
14     # print(newTxt)
15 
16     words = jieba.lcut(newTxt)
17     print(words)
18     img = Image.open(r'wc.jpg')  # 想要做的形状
19     img_array = np.array(img)
20 
21     # 相关配置，里面这个collections可以避免重复
22     wordcloud = WordCloud(
23         background_color='white',
24         width=1080,
25         height=960,
26         # font_path = "../文悦新青年.otf",
27         font_path='C:/Windows/Fonts/simhei.ttf',
28         max_words=150,
29         scale=10,  # 清晰度
30         max_font_size=100,
31         mask=img_array,
32         collocations=False).generate(newTxt)
33 
34     plt.imshow(wordcloud)
35     plt.axis('off')
36     plt.show()
37     wordcloud.to_file('wc.png')

结果展示：

第四部分，词频统计条形图。

 1 def echart_top_10():
 2     data = words_counts()
 3     lab = [i[0] for i in data]
 4     num = [i[1] for i in data]
 5     # print(lab, num)
 6 
 7     bar = (
 8         Bar(init_opts=opts.InitOpts(width='1000px', height='700px', theme=ThemeType.LIGHT))
 9         .add_xaxis(xaxis_data=lab)
10         .add_yaxis(
11             series_name='',
12             y_axis=num,
13             label_opts=opts.LabelOpts(is_show=True, color='red'),
14             bar_max_width='100px',
15         )
16         .set_global_opts(
17             title_opts=opts.TitleOpts(
18                 title='高词频前10',
19                 title_textstyle_opts=opts.TextStyleOpts(font_size=28,)
20             ),
21             legend_opts=opts.LegendOpts(
22                 pos_top='10%',
23                 pos_left='10%',
24             ),
25             xaxis_opts=opts.AxisOpts(
26                 axislabel_opts=opts.LabelOpts(rotate=45), # 倾斜45度
27             ),
28             toolbox_opts=opts.ToolboxOpts(),
29             tooltip_opts=opts.TooltipOpts(
30                 is_show=True,
31                 trigger='axis',# 触发类型，(axis表示坐标轴触发，鼠标移动上去的时候会有一条垂直于x轴的实线跟随鼠标移动，并且提示信息)
32                 axis_pointer_type='cross',# 指示器类型，(Cross表示生成两条分别垂直于x轴和y轴的虚线，不启用trigger才会显示完全)
33             ),
34         )
35     ).render('top10.html')

词频统计条形图，调用了工具栏，可以通过右上角的工具栏切换为线图。