使用 Python 的 Amazon Web Scraper

Photo by 马吕斯表 on 不飞溅

介绍

网络抓取是任何数据科学家在他们的工具箱中拥有的一项重要技能。 网络抓取可用于收集有关待售产品、用户帖子、图像以及几乎任何其他在网络上有用的数据 .

网络抓取（或数据抓取）是一种用于从互联网收集内容和数据的技术。这些数据通常保存在本地文件中，以便可以根据需要对其进行操作和分析。如果您曾经将网站上的内容复制并粘贴到 Excel 电子表格中，这本质上就是网络抓取，但规模非常小。

对于网络抓取，需要考虑几个不同的库，包括：

• 美丽的汤
• 要求
• 刮擦
• 硒

在这个例子中，我们将使用 Beautiful Soup。

概括

1. 导入库
2. 用户代理
3. 检查网页
4. 创建 CSV 文件
5. 结论

1.导入库

首先，我们将导入所需的库。

**从** BS4 **进口** 美丽汤  
 **进口** 要求  
 **进口** 时间  
 **进口** 约会时间  
 **进口** smtplib

2. 用户代理

复制并粘贴我们要废弃的网站的链接。然后，我们从计算机中获取“标题”，即“用户代理”，通过 这里 .

 网址 **=** 'https://www.amazon.com/Funny-Data-Systems-Business-Analyst/dp/B07FNW9FGJ/ref=sr_1_3?dchild=1&keywords=data%2Banalyst%2Btshirt&qid=1626655184&sr=8-3&customId=B0752XJYNL&th=1' 标题 **=** {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36", "Accept-Encoding":"gzip, deflate" , "接受":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "DNT":"1","Connection":"close", "升级不安全请求":"1"} 页 **=** 要求 **.** 获取（网址，标题 **=** 标题）

3.检查网页

现在我们开始实际使用 Beautiful Soup 库。

 汤1 **=** 美丽汤(页 **.** 内容，“html.parser”）  
 汤2 **=** 美丽汤(汤1 **.** 美化（），“html.parser”）  
 标题 **=** 汤2 **.** 找到（身份证 **=** '产品标题'） **.** 获取文本（）  
 价格 **=** 汤2 **.** 找到（身份证 **=** 'priceblock_ourprice') **.** 获取文本（）  
  
 打印（标题）  
 打印（价格）

我们得到的输出是：

 有趣的得到数据 MIS 数据系统业务分析师 T 恤  
                    
  
 16.99 美元

4. 创建 CSV 文件

下一步是为输出创建时间戳以跟踪收集数据的时间。

**进口** 约会时间  
 今天 **=** 约会时间 **.** 日期 **.** 今天（）  
  
 打印（今天）

我们将数据附加到 cs 五。

**和** open('AmazonWebScraperDataset.csv', 'a+', 换行 **=** '', 编码 **=** 'UTF8') **作为** F：  
 作家 **=** CSV **.** 作家（女）  
 作家 **.** 写手（数据）

现在我们可以可视化我们抓取的数据。

**进口** 熊猫 **作为** PD  
  
 df **=** PD **.** read_csv(r'C:\Users\Alysson\AmazonWebScraperDataset.csv')  
  
 打印（df）

5. 结论

这是我们可以用来在互联网上废弃数据的方法之一。我希望这很清楚。一个好的数据科学家必须知道如何使用上面提到的各种方法。完整代码可以访问 这里 .

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明

本文链接：https://www.qanswer.top/23550/25301001