Python教程

【代码回溯】最简单的一个python爬虫代码

本文主要是介绍【代码回溯】最简单的一个python爬虫代码，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

人在江湖飘，总是会忘记很多旧事。

有些代码写完以后，下次见面变成了陌路之客。

                                         ---------------HLK

 

这里是代码回溯专题，主要是回忆我自己写的代码及原理，让自己不会忘记曾经写下的东西。

 

那么今天来讲讲最最最初级的python爬虫程序，"爬某网站的图片"。

要爬的网页代码结构是

<html>
<head></head>
<body>
...
<img src="目标网址">
<img src="目标网址2">
<img src="目标网址3">
...
</body>
<html>

我们要做的操作是：

1、向网页发送请求并获得网页代码

2、解析网页代码里img标签的src属性，访问src属性里的网址并下载图片

 

  • 详细的操作说明

-----------------------------------------------------------------------

首先，本文用的组件为

请求库 Request

解析库 BeautifulSoup

 

所以请在py文件的最开头输入

import requests
from bs4 import BeautifulSoup

如果没有这两个库的话，请提前下载好。

-----------------------------------------------------------------------

1、向网页发送请求并获得网页代码

首先，最基础的代码是这三句。

response = requests.get(url, headers=header)      #发送带有请求头的请求
print(response)                                   #输出响应信号                                    
page_content = response.content.decode("utf-8")   #将网页内容以utf-8的编码格式输出

将page_content抓到手就算成功。(你可以用print或者open().write去看一下输出的结果与你在浏览器里看到的是否相同)

当响应信号为200的时候，说明请求成功。

其余情况请自行百度解决。

 

关于代码里的参数url和header：

url即你想要爬的网页网址。

header是向网页发送请求时附加的请求头。

一般是这样的格式。

    header = {
        'accept-language':'zh-CN,zh;q=0.9,en;q=0.8;en-GB;q=0.7,en-US;q=0.6',
        'cache-control': 'max-age=0',
        'accept-encoding': 'gzip, deflate, br',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
    }

那么这个请求头的内容是怎么得来的呢？实际上是抄的浏览器访问网页时的请求头。

为了模仿浏览器浏览，请大家在该网站里用开发者工具先抓一下请求包，看看请求头的内容

下图是用Chrome的开发者工具查看的百度首页的请求头。(打开network，刷新该网页，然后查看第一个请求就行了。一定要刷新哦~)

这样你就可以将一些请求头里的数据复制到代码里，达到爬虫模仿浏览器的效果。(当然了，这只是最基本的爬虫操作，爬很多网站过不了关的)

 

 

2、解析网页代码里img标签的src属性，访问src属性里的网址并下载图片

获取了page_content之后，我们就需要用BeautifulSoup对其进行解析。

soup = BeautifulSoup(page_content, "html.parser")
imgs = soup.find_all(name='img')                                                              #获取网页里关于所有img标签的数组

上方代码会返回一个包含所有img标签的数组，然后我们只要遍历数组，然后用get方法即可获得src值

---------------------------------------------------------------------------------

在这之前我想了很多方法去取src值，都相当地麻烦。

感谢niewzh 大佬的博客，让我用两三条指令便轻松地获取了属性值

博客地址：https://blog.csdn.net/ScapeD/article/details/81813463

---------------------------------------------------------------------------------

如下所示：get方法成功获取了src……不对，是data-aload值？？？

for a in imgs:                                                                                #遍历img标签数组里的所有值
    data_address = a.get('data-aload')                                                        #用get方法将每个img标签里面对应的属性抽取出来

实际上获取的属性之所以是data-aload，原因是很多网站有特殊的屏蔽机制，src值在爬出的时候内容会变成"loading"之类的非网址值。(当然，也许只是我遇到的网站比较特殊)

而经过仔细分析，我发现data-aload属性里反而有我想要的值，因此改变了要爬的参数。

 

你的开头计划的需求，很可能会与实际不符，要时刻与现况看齐。

 

由于爬出来的标签中有一些没有相对应的属性(例如本文要爬的data-aload)的图片，那些就需要另外特殊处理，。

这里将我们所爬到的标签进行一些过滤和修补，然后就可以将对应网址的图片下载下来了。

if data_address !=  None:                                                                 #只对有src值的img标签进行操作
    data_address=data_address.split()[0];                                                 #返回的src值里有一行空行，此处将其处理了
    response = requests.get(url, headers=header)                                          #发送带有请求头的请求
    print("downloading")															      #提示信息，用来提示你正在保存图片
    open("本地的保存地址", "wb").write(response.content)          						   #将response的内容(即图片)保存

 

 

那么以上就是分步解析了，总的代码是这样的(无函数无类)：

※有需要的还可以在里面加上num参数来方便给图片排序，或者加入time.sleep计时器方便调整下载速度之类的。

※这里的header都用了同一个请求头，具体情况还请具体分析

import requests
from bs4 import BeautifulSoup


#---------------------------------------     请求部分         -----------------------------------------------------
url = 'https://weloma.net/729/58078/'
header = {
    'accept-language':'zh-CN,zh;q=0.9,en;q=0.8;en-GB;q=0.7,en-US;q=0.6',
    'cache-control': 'max-age=0',
    'accept-encoding': 'gzip, deflate, br',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
}

response = requests.get(url, headers=header)      #发送带有请求头的请求
print(response)                                   #输出响应信号                                    
page_content = response.content.decode("utf-8")   #将网页内容以utf-8的编码格式输出



#---------------------------------------     解析部分         -----------------------------------------------------
soup = BeautifulSoup(page_content, "html.parser")
imgs = soup.find_all(name='img')                                                              #获取网页里关于所有img标签的数组

for a in imgs:                                                                                #遍历img标签数组里的所有值
    data_address = a.get('data-aload')                                                        #用get方法将每个img标签里面对应的属性抽取出来
    if data_address !=  None:                                                                 #只对有src值的img标签进行操作
    	data_address=data_address.split()[0];                                                 #返回的src值里有一行空行，此处将其处理了
    	response = requests.get(url, headers=header)                                          #发送带有请求头的请求
    	#print("downloading")															      #提示信息，用来提示你正在保存图片
        print(response)                                   									  #输出响应信号，用作故障测试检查点
    	open("本地的保存地址", "wb").write(response.content)          						   #将response的内容(即图片)保存

 

这篇关于【代码回溯】最简单的一个python爬虫代码的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航