# -*- coding: utf-8 -*- # @Time : 2021/9/4 17:32 # @Author : xinyang # @File : spider.py # @Software: PyCharm from bs4 import BeautifulSoup import re import urllib import xlwt # 与生成Excel表格相关 import sqlite3 def main(): baseurl = "https://movie.douban.com/top250?start=" datalist = getData(baseurl) # savepath = "豆瓣电影top250.xls" # 默认与此.py文件在同一个目录下 dbpath = "movie.db" # saveData(datalist, savepath) saveData2DB(datalist, dbpath) # askURl("https://movie.douban.com/top250?start=") # 全局变量 findLink = re.compile(r'<a href="(.*?)">') # 创建正则表达式对象,表示规则(字符串的模式) # .* 表示许多的各种的字符, ? 表示 这样的字符"有"或者“没有”(0次或者1次) # 例子:<a href="https://movie.douban.com/subject/1291546/">或者<a href=" 将没有链接的包含在内(考虑意外情况) # 影片图片 findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S) # re.S表示忽略换行符 因为 . 不包含换行符,加上re.S就可以把 .的概念“匹配”到任何字符 # 影片片名 findTitle = re.compile(r'<span class="title">(.*)</span>') # 影片评分 findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>') # 找到评价人数 findJudge = re.compile(r'<span>(\d*)人评价</span>') # \d* 表示0到多个数字 # 不能写成(r'<span>1893209人评价</span>') 因为可能因为span标签不止一个而匹配不成功 # 找到概况 findInq = re.compile(r'<span class="inq">(.*)</span>') # 找到影片的相关内容 findBd = re.compile(r'<p class="">(.*?)</p>', re.S) # 忽视(.所不包含的)换行符 # 此处的?不可省略, 因为<\p>可能不止一个 # 注:省略?之后在”肖申克的救赎“电影中输出的结果:'导演: 弗兰克·德拉邦特 Frank Darabont\xa0\xa0\xa0主演: 蒂姆·罗宾斯 Tim Robbins ... 1994\xa0 \xa0美国\xa0 \xa0犯罪 剧情\n < p>\n<div class="star">\n<span class="rating5-t">< span>\n<span class="rating_num" property="v:average">9.7< span>\n<span content="10.0" property="v:best">< span>\n<span>2310473人评价< span>\n< div>\n<p class="quote">\n<span class="inq">希望让人自由。< span>' # 爬取网页 def getData(baseurl): datalist = [] for i in range(0, 10): # 调用获取页面信息的函数,10次 url = baseurl + str(i * 25) html = askURl(url).replace(u'\xa0', '') # 保存获取到的网页源码 # html = html.replace('\xa0', ' ') # 2.逐一解析数据 soup = BeautifulSoup(html, "html.parser") # 指定Beautiful的解析器为“html.parser”,类似的还有BeautifulSoup(markup,"lxml")BeautifulSoup(markup, "lxml-xml") BeautifulSoup(markup,"xml")等等很多种 # 注:解析器负责把 HTML 解析成相关的对象,而 BeautifulSoup 负责操作数据(增删改查)。“html.parser” 是 Python 内置的解析器 for item in soup.find_all('div', class_="item"): # 查找符合要求的字符串,形成列表(注:class是一个类别/属性,需要加下划线,否则会报错) # print(item)#测试查看电影item data = [] item = str(item) # 影片详情的链接 link = re.findall(findLink, item)[0] # re库用来通过正则表达式查找指定的字符串 data.append(link) # 添加链接 imgSrc = re.findall(findImgSrc, item)[0] data.append(imgSrc) # 添加图片 titles = re.findall(findTitle, item) # 片名可能只有一个中文名,没有外国名 if (len(titles) == 2): ctitle = titles[0] # 添加中文名 data.append(ctitle) otitle = titles[1].replace("/", "") # 去掉无关的符号 data.append(otitle) # 添加外国名 else: data.append(titles[0]) data.append(' ') # 外国名字留空 rating = re.findall(findRating, item)[0] data.append(rating) # 添加评分 judgeNum = re.findall(findJudge, item)[0] data.append(judgeNum) # 添加评价人数 inq = re.findall(findInq, item) if len(inq) != 0: inq = inq[0].replace("。", "") # 去掉句号 data.append(inq) # 添加概述 else: data.append(" ") # 留空 bd = re.findall(findBd, item)[0] bd = re.sub('<br(\s+)?/>(\s+)?', " ", bd) # 去掉<br/> bd = re.sub('/', " ", bd) # 替换/ data.append(bd.strip()) # 去掉前后的空格 datalist.append(data) # print(datalist) return datalist def askURl(url): # 得到指定一个URL的网页内容 head = { "User-Agent": "Mozilla/5.0(Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko) Chrome / 89.0.4389.90Safari / 537.36" } request = urllib.request.Request(url, headers=head) try: response = urllib.request.urlopen(request) html = response.read().decode("utf-8").replace(' ','') # html.decode().replace(' ', '').encode(encoding='utf-8') # print(html) except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) if hasattr(e, "reason"): print(e.reason) return html # 保存数据 def saveData(datalist, savepath): print("save....") book = xlwt.Workbook(encoding="utf-8", style_compression=0) # 创建workbook对象 style_compression=0表示样式压缩的效果 sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True) # 创建工作表 cell_overwrite_ok=True表示覆盖之前的内容 col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概况", "相关信息") for i in range(0, 8): sheet.write(0, i, col[i]) # 列名 for i in range(0, 250): print("第%d条" % (i + 1)) data = datalist[i] for j in range(0, 8): sheet.write(i + 1, j, data[j]) # 数据 book.save(savepath) # 保存 def saveData2DB(datalist, dbpath): init_db(dbpath) conn = sqlite3.connect(dbpath) cur = conn.cursor() for data in datalist: for index in range(len(data)): if index ==4 or index ==5: continue data[index] = '"' + data[index] + '"' sql = ''' insert into movie250( info_link,pic_link,cname,ename,score,rated,introduction,info) values(%s)''' % ",".join(data) cur.execute(sql) conn.commit() cur.close() conn.close() def init_db(dbpath): sql = ''' create table movie250 ( id integer primary key autoincrement, info_link text, pic_link text, cname varchar, ename varchar , score numeric , rated numeric , introduction text, info text ) ''' # 创建数据表 # 最后一个不需加逗号 conn = sqlite3.connect(dbpath) # 连接数据库(如果数据库不存在会自动创建数据库) cursor = conn.cursor() cursor.execute(sql) # 执行sql语句;execute() 将只执行一条单独的 SQL 语句 conn.commit() # 这个方法提交当前事务。 conn.close() # 关闭数据库连接。 if __name__ == "__main__": main() # init_db("movietest.db") print("爬取完毕!")
原本的代码:
html = response.read().decode("utf-8")
修改之后:
html = response.read().decode("utf-8").replace(' ','')
参考:python爬虫 爬取内容的时候  空格内容变成问号‘?’ - 可乐爆炸的回答 - 知乎 https://www.zhihu.com/question/35945782/answer/382589149
举例:hmtl代码中,在两个字之间输入十个空格与输入十个转义字符 的效果对比。
方法一:首先在右侧的数据库中将其“remove”,然后再在文件目录中将其删除;
方法二:
启动任务管理器,结束pycharm进程下的插件(结束任务)
参考:java.io.IOException: 不能删除数据库文件
总结:想要将其他的编码转换成utf-8必须先将其解码成unicode然后重新编码成utf-8,它是以unicode为转换媒介的
参考:decode和encode的区别