MySql教程

Python爬取数据并写入MySQL

本文主要是介绍Python爬取数据并写入MySQL,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

关于爬虫爬取数据并存入MySQL数据库(以东方财富网上的股票数据为例,网页:深南电A(000037)资金流向 _ 数据中心 _ 东方财富网)

第一步,创建数据库中的数据表

import requests
import pandas as pd
import re
import pymysql

db = pymysql.connect(host='localhost', user='root', password='ls101945', db='东方财富', port=3306, charset='utf8')
cursor = db.cursor()#建立游标
cursor.execute("DROP TABLE IF EXISTS 东方财富")#如果有表叫东方财富,删除表
sql = """
        create table 东方财富(            
        日期 char(20) not null,
        主力净流入净额 char(20),
        小单净流入净额 char(20),
        中单净流入净额 char(20),
        大单净流入净额 char(20),
        超大单净流入净额 char(20) ,
        主力净流入净占比 char(20),
        小单净流入净占比 char(20),
        中单净流入净占比 char(20),
        大单净流入净占比 char(20),
        超大单净流入净占比 char(20),
        收盘价 char(20),
        涨跌幅 char(20))
    """
try:#如果出现异常对异常处理
    # 执行SQL语句
    cursor.execute(sql)
    print("创建数据库成功")
except Exception as e:
    print("创建数据库失败:case%s" % e)

导入pymysql,连接到东方财富数据库,开启游标功能,创建游标对象(注意:当开启游标功能执行这个sql语句后,系统并不会将结果直接打印到频幕上,而是将上述得到的结果,找个地方存储起来,提供一个游标接口给我们,当你需要获取数据的时候,就可以从中拿数据),使用sql语句建立数据表,设计字段名,类型,能不能为空值。使用execute()方法,执行sql语句。在程序开发中,如果对某些代码的执行不能确定(程序语法完全正确),可以增加try来捕获异常,try:尝试执行的代码,except:出现错误的处理。

第二步,爬取数据

在目标网页中点击左键-检查-网络,刷新网页,找到数据存储的位置

​ 

 

url = 'https://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?cb=jQuery112301445006905131534_1634624378230&lmt'\
    '=0&klt=101&fields1=f1%2Cf2%2Cf3%2Cf7&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf62%'\
    '2Cf63%2Cf64%2Cf65&ut=b2884a393a59ad64002292a3e90d46a5&secid=0.000037&_=1634624378231'
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50'
           }
#发送url链接的请求,并返回响应数据
response = requests.get(url=url, headers=headers)
page_text = response.text
#使用正则表达式获取数据
pat = '"klines":\[(.*?)\]'#(.*?)就是我们要取出的部分
data = re.compile(pat, re.S).findall(page_text)#compile函数编译正则匹配表达式,re.S代表可以换行匹配,使用findall函数选定数据集,也就是爬取的所有源代码

url和headers可以在其中找到,构造请求头,发送url链接的请求,并返回响应数据,使用正则表达式获取数据。

第三步,写入数据库

datas = data[0].split('","')#分割字符串

for i in range(len(datas)):
    stock = list(datas[i].replace('"', "").split(","))#把“替换为空格,以,为分隔符分割
#用sql语言写入数据表
    sql1 = """
                insert into 东方财富(
                日期,
                主力净流入净额,
                小单净流入净额,
                中单净流入净额,
                大单净流入净额,
                超大单净流入净额,
                主力净流入净占比,
                小单净流入净占比,
                中单净流入净占比,
                大单净流入净占比,
                超大单净流入净占比 ,
                收盘价 ,
                涨跌幅 )value('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')
    """ % (
    stock[0], stock[1], stock[2], stock[3], stock[4], stock[5], stock[6], stock[7], stock[8], stock[9], stock[10],
    stock[11], stock[12])#将值插入到占位符%s
    # 执行 insert 增加的语句  如果出现异常对异常处理
    try:
        cursor.execute(sql1)
        db.commit() #进行数据库提交,写入数据库
    except:
        cursor.rollback() #数据回滚,多次操作要么都执行,要么都不执行
        print('写入失败')

# 关闭游标连接
cursor.close()
# 关闭数据库连接
db.close()
print('写入成功!')

把爬取出来的数据按逗号分割,用sql语言的insert插入到东方财富数据表,value赋值。使用execute()方法,执行sql语句后一定要用commit()方法提交,在数据库里增、删、改的时候,必须要进行提交,否则插入的数据不生效。rollback()方法:不想提交增、删、改操作,用此方法回滚取消操作,有多次操作时,全部取消。用try捕获异常,如果执行sql或向数据库提交时有异常,就取消所有对数据库的修改操作。

最终效果

这篇关于Python爬取数据并写入MySQL的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!