Python教程

【python】read_html()处理网页中的表格数据

本文主要是介绍【python】read_html()处理网页中的表格数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

pandas模块的read_html()函数,从网页中识别<table>读取表格类数据。避免了写xpath等表达式的麻烦,可把筛选得到的表格数据通过to_csv或to_Excel直接存为CSV文件或Excel文件。

注意:read_html()返回一个DataFrame类型的列表,每一项代表网页中的一个<table>,可用切片方式指定提取第几个表格。

参数io

指定识别的对象,可为网址、本地HTML、request得到的响应的文本内容。

参数match

传入正则表达式,返回符合match的内容,可理解为内容的筛选。

参数flavor

可省。指定网页源代码的解析器,常用的lxml解析器(也是默认解析器)。

参数header

可省。指定一行或多行作为表格的列标签,默认None。若把多行作为列标签,则需要以列表形式给出,如:把0~2行作为行列标签,则列序号从第4行即序号3的行开始排列。

参数index_col

可省。指定表格中的任一列作为行标签,默认None。

参数encoding

可省。指定解码的字符集,默认用网页源码指定的字符集。

import pandas as pda
# 从网站的第一个表格中筛选出带有"高匿名"的项
# 指定用第0列作为行标签,第1和2行作为列标签,用UTF-8解码
data = pd.read_html('http://www.kuaidaili.com/free/', match='高匿名', index_col=0, header=[0,1], encoding='UTF-8')[0]
# 数据存为CSV文件
data.to_csv('高匿名代理ip.csv')

这篇关于【python】read_html()处理网页中的表格数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!