MySql教程

Scrapy爬取北京公交并保存MYSQL数据库实例

本文主要是介绍Scrapy爬取北京公交并保存MYSQL数据库实例，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

        前言就不过多赘述了，大家只要把scrapy的基本了解之后就可以完成这个项目。

一：创建scrapy项目： 打开控制台输入 scrapy startproject beibus(这个是项目名称，可以自己修改)

进入项目文件夹创建爬虫scrapy genspider (爬虫名) (域名)

 查看beibus项目，如果有刚刚创建的爬虫名称的py文件，说明爬虫创建成功

二：设置settings

打开settings.py文件，修改ROBOTSTXT_OBEY的值为False

 

这篇关于Scrapy爬取北京公交并保存MYSQL数据库实例的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航