在python中利⽤pandas读取MySQL中的数据并将其写⼊excel
表格中
问题描述:
猫哥在抓取了⼀⼤批数据后(过百万)想通过navicate直接导出成excel表格,然⽽发现电脑和navicate都不给⼒,导出到⼀半就会卡死,关都关不掉。于是便想到了强⼤的pandas
解决办法:
利⽤pandas从mysql中将数据读出来,再将读出的数据写到excel表格中。
代码实现:
python怎么读取excel的数据# coding=utf-8
import pandas as pd
from pandas import DataFrame, Series
from sqlalchemy import create_engine
import time
# 开始时间
start =time.time()
# 建⽴链接
engine = create_engine('mysql+pymysql://root:root@127.0.0.1:3306/MyDB')
# 查询语句
sql = '''select * from test_table;'''
# 读取mysql
df = pd.read_sql_query(sql, engine)
print("从mysql中读取数据成功!开始将数据导⼊到excel表格中...")
# 将读取的数据格式化成DataFrame类型
test_data = DataFrame.from_records(df)
# 将数据写⼊excle中
_excel("E:\\data\\testdata.xlsx", index=False)
print("导出成功!")
# 程序结束时间
end = time.time()
# 打印出程序的运⾏时间
print('Running time: {} Seconds'.format(end-start))
注:excel表格的最⼤⾏数是1048576,如果数据量⼤于这个数,需要⾃⼰增加表格哦!
完毕!

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。