Python编程读取多个JSON实现数据去重现在假设有⼀些JSON⽂件，但是这些JSON中存在着某些key相同的重复数据，需要进⾏去重.android studio书籍
制作网页的免费摩板import json
# 这⾥读取7个json⽂件，并全部读取到data中
data =[]
for i in range(1,8):
str=open("e:/{}.json".format(i), encoding="utf-8").read()
# 这⾥的key是MD5码，类似于数据库的id有unique约束
remove =[]
for i, d1 in enumerate(data):
前端开发课程培训for j, d2 in enumerate(data):
发卡网php源码
while ('MD5')== d2.get('MD5')and i < j:
remove.append(i)#存⼊重复的下标
# 进⾏去重,⽅式是新建⼀个unique列表，存⼊排除重复下标的数据
unique =[]
for i in range(len(data)):
if i not in remove:
unique.append(data[i])
测试结果
print(len(data),len(remove),len(unique))
python解析json文件1327181309

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。