Python3实现将本地JSON⼤数据⽂件写⼊MySQL数据库的
⽅法
本⽂实例讲述了Python3实现将本地JSON⼤数据⽂件写⼊MySQL数据库的⽅法。分享给⼤家供⼤家参考，具体如下：
最近导师给了⼀个yelp上的评论数据，数据量达到3.55个G，如果进⾏分析时直接使⽤本地⽂件，选择python来分析，那么效率是⾮常低的；另⼀⽅⾯使⽤SQL来储存⽂本⽂件最为安全，之前使⽤CSV，txt存储的⽂本⽂件最后莫名其妙地出现⼀些奇怪字符，导致读取数据分割时出现错乱。下⾯给出⼀个简单的代码，将本地JSON⽂件内容存⼊数据库。
paramour说明：python版本为3.5，使⽤第三⽅库为pymysql。因为数据量⽐较⼤，不能⼀次性读取到内存（否则内存报错），这⾥使⽤逐⾏读取的⽅式。数据库先创建后再使⽤以下代码；
import json
import pymysql
svg文件转换# 读取review数据，并写⼊数据库
# 导⼊数据库成功，总共4736897条记录
def prem(db):
cursor = db.cursor()
data = cursor.fetchone()
print("Database version : %s " % data) # 结果表明已经连接成功
sql = """CREATE TABLE review (
review_id VARCHAR(100),
user_id VARCHAR(100),
business_id VARCHAR(200),
stars INT,
有效的变量名是什么python解析json文件text VARCHAR(10000) NOT NULL,
useful INT,
funny INT,
cool INT)"""
def reviewdata_insert(db):
with open('E:/data/yelp_data/dataset/review.json', encoding='utf-8') as f:
i = 0
while True:
i += 1
print(u'正在载⼊第%s⾏......' % i)
try:
lines = f.readline() # 使⽤逐⾏读取的⽅法
review_text = json.loads(lines) # 解析每⼀⾏数据
result = []
result.append((review_text['review_id'], review_text['user_id'], review_text['business_id'],review_text['stars'], review_text['text'], review_text['useful'], review_text['funny'], review_text['cool']))
print(result)
inesrt_re = "insert into review(review_id, user_id, business_id, stars, text, useful, funny, cool) values (%s, %s, %s, %s,%s, %s,%s, %s)"
oracle minuscursor = db.cursor()
excel表格怎么设置滚动条utemany(inesrt_re, result)
dbmit()
except Exception as e:
print(str(e))
break
if __name__ == "__main__": # 起到⼀个初始化或者调⽤函数的作⽤
db = t("localhost", "root", "password（你的密码）", "数据库名称", charset='utf8')
cursor = db.cursor()
prem(db)
reviewdata_insert(db)
cursor.close()
PS：这⾥再为⼤家推荐⼏款⽐较实⽤的json在线⼯具供⼤家参考使⽤：
更多关于Python相关内容感兴趣的读者可查看本站专题：《》、《》、《》、《》、《》、《》、《》、《》及《》
希望本⽂所述对⼤家Python程序设计有所帮助。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论