Python教程

【Python爬虫】实践01 豆瓣电影

本文主要是介绍【Python爬虫】实践01 豆瓣电影,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
  1. 代码示例
# Author:VK-Link
# -*- codeing =utf-8 -*-
# @Time : 2020-5-31 下午 6:44
# @Author:
# @Site :
# @File : demo2.py
# @Software: PyCharm


# 变成新的颜色 则有调用;没有则可以删除;
from bs4 import BeautifulSoup  # 网页分析,获取数据
import re  # 正则表达式,进行文字匹配
import urllib.request, urllib.error  # 制定URL,获取网页数据
import xlwt  # 进行excel操作
import sqlite3  # 进行SQLlite数据库操作;


# ==== 步骤  ====
# 1. 爬取网页
# 2. 解析数据
# 3. 保存数据;

def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1. 爬取网页
    datalist = getData(baseurl)
    savepath = "豆瓣电影Top250.xls"

    # 3. 保存数据;
    saveData(datalist, savepath)

    # askURL("https://movie.douban.com/top250?satrt=0")      # 仅调用一次


# ==== 获取影片信息 ====
# 影片详情链接      ## 正则表达式 相关;
findLink = re.compile(r'<a href="(.*?)">')  # 创建正则表达式对象,标识规则(字符串模式);
# 影片图片
findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # re.S 让换行符包含其中;
# 影片片面
findTitle = re.compile(r'<span class="title">(.*)</span>')
# 影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 评价人数
findJudgeNum = re.compile(r'<span>(\d*)人评价</span>')
# 影片概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)


# ====爬取网页====
def getData(baseurl):
    datalist = []
    for i in range(0, 10):  # 调用获取页面信息的函数, 10次
        url = baseurl + str(i * 25)
        html = askURL(url)  # 保存获取到的网页源码;

        # 2. 逐一解析数据               # P23 正则提取;
        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_="item"):
            # print(item)         # 测试,查看电影item信息;
            data = []  # 保存一部电影的所有信息;
            item = str(item)

            # 获取一个item
            # print(item)
            # break

            # 影片详情的链接--link
            link = re.findall(findLink, item)[0]  # re库来通过正则表达式查找指定的字符串;
            # print(link)          # 打印获取的链接link  --获取影片详情的链接;
            data.append(link)
            imgSrc = re.findall(findImgSrc, item)[0]
            data.append(imgSrc)
            titles = re.findall(findTitle, item)  # 片名可能只有一个中文名,没有外国名;
            if (len(titles) == 2):
                ctitle = titles[0]  # 添加中文名;
                data.append(ctitle)
                otitle = titles[1].replace("/", "")  # 去掉无关的符号;
                data.append(otitle)  # 添加英文名;
            else:
                data.append(titles[0])
                data.append(' ')  # 外国名字留空;

            rating = re.findall(findRating, item)[0]
            data.append(rating)  # 添加评分;

            judgeNum = re.findall(findJudgeNum, item)[0]
            data.append(judgeNum)  # 添加评价人数;

            inq = re.findall(findInq, item)
            if len(inq) != 0:
                inq = inq[0].replace("。", "")  # 去掉句号
                data.append(inq)  # 添加概述
            else:
                data.append(" ")  # 留空

            bd = re.findall(findBd, item)[0]
            bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd)  # 去掉<br/>
            bd = re.sub('/', " ", bd)  # 替换/
            data.append(bd.strip())  # 去掉前后的空格

            # print(data)
            datalist.append(data)  # 把处理好的电影信息放入打他list;
    return datalist


# ==== 得到指定的URL的网页内容 =====
def askURL(url):
    head = {  # 模拟浏览器头部信息;向豆瓣服务器发送消息;
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64;x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 83.0.4103.106 Safari / 537.36"
    }
    # 用户代理:表示告诉豆瓣服务器,我们是什么类型的服务器;
    # 本质上:告诉浏览器,我们可以接受什么水平的文件内容;
    request = urllib.request.Request(url, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)

    return html


# ====保存数据====
def saveData(datalist, savepath):
    print("save begin...")

    book = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建workbook对象;
    sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)  # 创建工作表
    col = ("电影详情链接", "图片链接", "影片中文名", "影片英文名", "评分", "评价数", "概况", "相关内容")
    for i in range(0, 8):
        sheet.write(0, i, col[i])  # 列名
    for i in range(0, 250):
        print("第%d条" % (i + 1))
        data = datalist[i]
        for j in range(0, 8):
            sheet.write(i + 1, j, data[j])

    book.save(savepath)


## ===================================================
if __name__ == '__main__':  # 当程序执行时
    # 调用函数
    main()
    print('爬取完毕!......')

这篇关于【Python爬虫】实践01 豆瓣电影的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!