这个系列开始,从爬虫工具的学习,到爬取后数据的处理,最终数据的展示,笔者将一一展开。让你从无到有,游刃有余。
一:爬取工具
(一)爬取工具Requests的应用
(二)爬取后的页面分析:BeautifulSoap分析html
(三)爬取后页面信息的查找:RE正则表达式
(四)爬取动态网页加在json的应用,实例:如何下载视频
1. 掌握Json的4个基础命令,从而获取动态js的url
2. Json和requests的实例教学:乐柠网播的视频下载
(五)动态模拟网页点击:Selenium
1. Selenium基础命令学习
2. Selenium实例:实现自动登录打卡
3. Selenium代码在Windows系统下的每日自动运行
二:爬取后的数据处理
(一)Numpy:二维数据的处理与分析
(二)Pandas:三维数组的整合与运用
三:爬取后的数据展示,Matplotlib包
1. Matplotlib常用参数基础
(一)Matplotlib.pyplot基础教程
1. 单个散点图(曲线)的画图
2. 多张图的布局或者单张图的多个曲线
3. 直方图,饼图和极坐标图
(二)让你的数据动起来Matplotlib bar chart race
1. Bar_chart_race安装基础,软件和数据的准备,常见错误
2. 基础教程以及实例:一周内板块的主力资金活动情况
(三)让图像动起来Matplotlib.animation
1. Matplotlib FuncAnimation画出最简单的动图
2. FuncAnimation进阶:如何选取加入图中的元素?文字?图形?刻度?