29日,第34届中国金鸡百花电影节官宣将于2021年12月28日-30日在福建厦门举办,并公布主视觉海报和提名名单。《中国医生》《守岛人》《我和我的家乡》《我的姐姐》《革命者》《悬崖之上》入围最佳故事片,这里面有没有大家看过的呢?好奇的我对历届的获奖数据很感兴趣,所以今天准备爬取一些金鸡奖的历届获奖数据。
使用python获取时间,获奖作品,获取者和相关的一些评论。简单的爬虫代码如下,代码主要也跟跟大家分享了关于代理的使用方式,对一些新手小白来说还是很有学习价值的。
#! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标HTTPS页面 # targetUrl = "https://httpbin.org/ip" # 代理服务器(产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理验证信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 设置IP切换头 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text
从获取的数据看,截止至2020年11月,金鸡奖一共举行过32届,所以获取到的数据还是挺多的,我觉得有很多的影片是很值得看的,下次我整理出完整的数据表分享给大家,有需要的可以关注交流下。