python解析json⼤⽂件_在Python中读取相当⼤的json⽂件在Python中读取相当⼤的json⽂件
所以我有⼀些相当⼤的json编码⽂件。最⼩的是300MB,但这是迄今为⽌最⼩的。其余的是多GB,⼤约2GB到10GB +。
二进制转换十进制的bv程序>国标c型钢规格表大全
所以当我尝试使⽤Python加载⽂件时,我似乎耗尽了内存。我⽬前正在进⾏⼀些测试,看看处理这些东西需要多长时间才能看到从这⾥开始。这是我⽤来测试的代码:
压力容器几类japonensisjava 在线from datetime import datetimeimport w()f = open('file.json', 'r')json.load(f)f.close()w()
毫不奇怪,Python给了我⼀个MemoryError。似乎json.load()调⽤json.ad()),它试图⾸先将整个⽂件转储到内存中,这显然不会起作⽤。
江苏福彩
python请求并解析json数据我能⼲什么⽅式解决这个问题吗?
我知道这是旧的,但我不认为这是重复的。答案是⼀样的,但问题是不同的。在“重复”中,问题是如何有效地读取⼤⽂件,⽽这个问题处理甚⾄根本不适合内存的⽂件。效率不是必需的。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。