学会Python更多是爬取数据，并把爬回来的数据进行分析和挖掘！举几个实例简要说明：

一、扒了扒蔡徐坤100万+微博转发中，假流量占了多少的比例。

随机抓取蔡徐坤100万+转发的微博《再见，“任性的”千千…》的10万条转发数据，并且分析蔡徐坤真假转发流量的比例以及真假粉丝的用户画像。

发现102313条转发数据中，有95397条是由假粉丝转发的，占了总转发的93.24%，只有6916条是由真粉丝转发的，占6.76%。6916条数据中，除去重复转发的粉丝，真实粉丝数量只剩下3926个。也就是说，真实转发的粉丝数量，占总转发量的3.84%。

与之相比，吴青峰10006条转发数据中，只有很少比例的假粉丝量，绝大部分都是真粉丝转发的。在9658条真粉丝转发数据中，真粉丝量也高达9318，说明不存在粉丝打榜的情况。

另外还有一些有趣的发现：假粉丝的平均关注是3.44，平均粉丝数是1.04，没有简介，昵称基本上都是“中文+英文和数字”这个格式，很多假粉丝的昵称都带有“坤”、“蔡”、“葵”、“kun”等字，头像都是蔡徐坤（说明很多都是定制粉啊）。

爬虫和数据分析代码戳：CaiXuKun，具体的数据分析文章戳：《用大数据扒一扒蔡徐坤的真假流量粉》

二、爬取了西瓜直播（今日头条旗下APP）各类型游戏的主播直播数据107.5万条，并分析直播平台和游戏主播行业是否真如我们想象般的暴利

使用多线程爬虫爬取了西瓜直播（今日头条旗下APP）各类型游戏的主播直播数据107.5万条(时间：2019年4月30日0时至5月7日0时7天，平均每隔5分钟获取一次各类型游戏所有主播直播数据)，并分析直播平台和游戏主播行业是否真如我们想象般的暴利，以及游戏主播的回报跟付出的努力是否成正比。

全平台7天内出现的主播有4601人，其中有3266位主播具有打赏收入，有1335位主播是没有打赏收入的。

在3266位有打赏收入的主播中，历史总打赏小于100元的有1143人，占总数的35%。历史总打赏小于1万元的有2491人，占总数的76%。历史总打赏大于10万元的有177人，占总数的5%。

那么努力和收获是成正比的吗？

图表中的趋势告诉我们：是的。总收入一百元以内的直播，平均每日直播2.2小时，而总收入一百万到一千万的主播，平均每日直播5.7小时！

可能大家觉得这个时间不长，但是要知道玩游戏是一项需要全神贯注的游戏，主播要是走神了没玩好，人气就不在了，礼物也刷不上来。试想一下每日要全神贯注玩6个半小时的游戏，还要解说和互动，就知道辛苦程度如何了。

可以看到，节假日的观看人数要比非节假日高。每日观看人数从7点开始攀升，到12点达到小峰值（500万左右），再从下午的4点开始急剧攀升，下午6点的观众人数，是12点的3-4倍。说明观众习惯下午下班后打开APP观看直播。下午6点一直到晚上12点，都是直播的黄金时间。

爬虫和数据分析代码戳：LiveStreaming，具体的数据分析文章戳：《用大数据扒一扒蔡徐坤的真假流量粉》

三、爬取英语外籍老师与本土老师招聘数据，分析洋外教是否真的是一群没学历、没教学经验的外国人拿着高工资在我们国家逍遥快活

爬取外籍人员招聘网站JobLEADChina上的外籍英语老师招聘数据945条，万行教师人才网上的英语老师招聘数据5780条，以及微信群成员信息498条，并分析外教教师的招聘状况。

大部分中教的工资都在10K以内，而大部分的外教工资都在10K以上。中教的月平均工资是8.3K（按照城市为单位平均后是7.9K），而外教的月平均工资是15.7K，大概是中教的2倍。

在国内实习的外教月薪可以轻松破万，入门级的外教更是可以拿到15.8K的高薪。而我们的教师，即使工作了五到十年，还是拿不到入门级外教的工资。

Any education（也就是不管你的学历）的外教，来到中国可以拿的月平均工资是13.9K人民币，比我们硕士毕业的英语老师还要高出不少。有本科学历的外教平均工资是16.3K，硕士毕业的轻松上2万。

我们把外教群里的外教来源省份画了出来，可以看到，有来自美国纽约的、有来自加拿大多伦多的，有来自英格兰的，当然，也有来自法国巴黎的（法语）、有来自土耳其伊斯坦布尔的（土耳其语）、有来自荷兰阿姆斯特丹的（荷兰语），有来自西班牙拉科鲁尼亚的（西班牙语），还有来自其它各种各样地方的，你们自己感受一下。

爬虫和数据分析代码戳：ESL，具体的数据分析文章戳：《没经验没学历的外教为啥能拿1.4W+的高薪？》

四、爬取最近大火的程序员集体抵制996的项目996.ICU中，Issues页面讨论数据和点了star的程序员Github个人信息数据，并且分析这群抵制996的程序员都是何方神圣

爬取了Github热门项目996.ICU中Issues页面的10037条讨论数据和39987条点了star的程序员Github个人信息数据。

可见，抵制996的程序员，最多的是来自阿里系的公司，有148人，其次是腾讯、百度、京东等，以加班文化著称的华为，排名才第9。

当然，还有很多来自小米、微软、谷歌、中兴、联想、ThoughtWorks等各个公司的程序员。

可以看到，浙大以59人star了该repos排名榜首，其次是上海交大、清华、电子科大、北邮、武大、哈工大、中科大、复旦大学。这些大学，都是非常有名的大学啊，也是出产程序员的大学。当然，还有很多人来自于华中科大、卡耐基梅隆大学、北航、北理工、中山大学等学校的学生。

北京以2094人位居榜首！其次是上海、杭州、深圳等等。这些城市，恰恰是国内互联网行业发展得最好的城市。

看来这个repos确实在全国程序员界都引起了巨大的反响，乃至新加坡、日本、美国等地的程序员都前来支持。

这群程序员的平均粉丝数为10.9，关注数为14.6，repos数为19.1。从数据可以看出，大部分都是默默无闻又兢兢业业的苦逼基层程序员。

关注996工作制的程序员中，有程序员大牛。排名第一的是一个熟悉的面孔，轮子哥！另外有来自腾讯的Coco，来自滴滴的singwhatiwanna，技术博主颜海镜等，这些人都在关注996。在39987个star了该repos的程序员中，粉丝数大于1000的有47人，大于500的有110，大于100的有598人。说明还是有很多有影响力的程序员在关注996工作制。

爬虫和数据分析代码戳：ICU996，具体的数据分析文章戳：《大胆，都是哪些程序员在反对996？！》

更多案例分享，请听下回分解！

文章持续更新，扫描下方CSDN官方二维码，回复【python资料】【python面试】【简历】有我准备的python学习路线和python面试资料和简历模板，欢迎与我一起学习交流！