Python爬虫知识点整理
mongodb数据库 介于关系型数据和非关新型书库
依据关系模型创建的数据库 1-1 1- 对多 多-多
特点 安全 但是不节省空间 仍要分配空间
非关系模型 HBASE 列
文档类模型 MongoDB 缺点转存到磁盘中
键值对
Win10
www.mongodb.com/try/download/community
下载好mongodb 之后,确定用nvicat链接
Netstat -an
出现这个27017的端口 MONGO就安装完了
Requests模块支持的服务
GET:当客户端向 WEB服务器请求一个资源的时候使用
GET
Requests模块支持的http方法
PUT:当客户端向Web服务端URL发送一个替换的文档或者上传一个新文档的时候使用
Response
GET: 当客户端向Web服务器请求一个资源的时候使用
Get方法是最简单最常用的请求方法
他被用来访问静态资源 html文档或图片
HEAD 当客户端向Web服务器请求一个资源的一些信息而不是资源的全部信息的时候使用
主要用于确认URL的有效性以及资源更新的日期时间等
POST 当客户端向服务端发送信息或者数据的时候使用,表单提交
PUT 一般指客户端向Web服务端指定URL发送一个替换的文档或者上传一个新文档的时候使用
DELETE 尝试从WEB服务端删除一个由请求URL唯一识别的文档使用
request header请求头 数据
外网IP地址为
117.100.126.51
通过百度搜索查询到的
这是内网IP 如果是 阿里云服务器 或者腾讯服务器的IP就不再是以192.开头了
提交密码的时候常见
以下是求出过程
通过 JSON求IP地址
Print(response.status_code) 传回状态码
200 成功 302 跳转 404 错误 500 遇到了一些闻所未闻的状态
请求超时: 设置?
异常 如果遇到连接问题 会抛出connnection异常
设置代理,隐藏请求
通过get请求访问登录页面还没有填用户名密码
-t时间戳
代理
找到IP地址的方法 http://pv.sohu.com/cityjson 通过这个URL访问IP地址也可以
#1 挑选代理厂商 阿布云 知名代理 快代理
把代理信息设置到代码中
Proxy ={
“http”:”http://”
不写了 还有好多才看到第八个视频
/.当前节点 /。。当前副标题
/spon