Python教程

用python写爬虫(基础)(2)----了解网页构造,才能知道我究竟需要什么数据

本文主要是介绍用python写爬虫(基础)(2)----了解网页构造,才能知道我究竟需要什么数据,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

知道了用requests去请求网页,这是爬取的第一步,当然了既然能够请求成功,自然我们可以知道了要进入网页去抓我们想要的数据。

要知道我们是从网页源代码当中找寻数据,而并非像一般的复制粘贴一样从浏览器表面获得。网页的构成无非是HTML、CSS、JavaScript三种语言构成,HTML 负责为网页添加内容,CSS 负责美化网页,JavaScript 负责让网页动起来。当然我们爬虫不需要将三大语言全部弄会,只需要知道几个特殊的标识符即可,所以爬虫是一个全方位的领域。

这是豆瓣网站的部分源代码:

​
<!DOCTYPE html>
<html lang="zh-cmn-Hans" class="ua-mac ua-webkit book-new-nav">
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>豆瓣图书 Top 250</title>
  </head>
  <body>
    <div class="global-nav-items">
      <a href="https://www.douban.com">豆瓣</a>
      <a href="https://book.douban.com">读书</a>
      <a href="https://movie.douban.com">电影</a>
      <a href="https://music.douban.com">音乐</a>
      <a href="https://www.douban.com/location">同城</a>
      <a href="https://www.douban.com/group">小组</a>
      <a href="https://read.douban.com">阅读</a>

    </div>
  </body>
</html>

​

可以看到很多夹在尖括号 <> 中间的字母,它们叫做 标签

一般来说标签都是成对出现的,所以标签又分为 开始标签(比如 <title>)和 结束标签(比如 </title>)。开始标签、结束标签加上标签中间的内容就构成了 元素

h1一级标题<h1>......</h1>
h2二级标题<h2>......</h2>
p段落区域<p>........</p>
a超链接<a href="www...">链接</a>
img图片区域<img str='...' />
div定义文档的块区域<div>.......</div>

一般的网页基本上都是以这几个主要的标签为主导,可以通过按F12或者是右键查看源代码对照着看,大致就能弄懂整个网页的数据究竟隐藏在哪里,而爬虫就是要从源代码中爬到我们想要的数据。

黑科技

你知道吗网页上面的数据可以随意更改的!!!

通过F12打开开发者工具,点击左上角的小按键,再点击“2021书影音报告

 

 我们就能看到开发者工具当中出现了对应的代码和字段。我们双击字段然后就可以随意改动,比我改成“导演”,然后点击任意地方我们就能发现浏览器上面的字段被我们改变了,即便关了开发

者工具依旧是导演。

 不过网页刷新过后依旧恢复成原样子。

 

SO!!

不要轻易相信网页上的截图,修改的成本比PS还要低。

这篇关于用python写爬虫(基础)(2)----了解网页构造,才能知道我究竟需要什么数据的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!