Python从数据库读取⼤量数据批量写⼊⽂件的⽅法
使⽤机器学习训练数据时，如果数据量较⼤可能我们不能够⼀次性将数据加载进内存，这时我们需要将数据进⾏预处理，分批次加载进内存。
下⾯是代码作⽤是将数据从数据库读取出来分批次写⼊txt⽂本⽂件，⽅便我们做数据的预处理和训练机器学习模型。
#%%
import pymssql as MySQLdb #这⾥是python3 如果你是python2.x的话，import MySQLdb
#数据库连接属性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
#总共多少数据
allData = 1674333
#每个批次多少条数据
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
#⽂件名
global IDctrl
IDctrl = 1
filename = str(IDctrl)+'.txt'
#连接数据库
python怎么读取文件中的数据
conn = t(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
while IDctrl<batch:
#读取数据库
sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach)
rows=cur.fetchall()
#写⽂件
f = open(filename,'w')
f.writelines(str(rows))
#⽂件名加1
IDctrl+=1
filename = str(IDctrl)+'.txt'
#关闭数据库连接
f.close()
conn.close()
以上这篇Python从数据库读取⼤量数据批量写⼊⽂件的⽅法就是⼩编分享给⼤家的全部内容了，希望能给⼤家⼀个参考，也希望⼤家多多⽀持。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。