Python将json⽂件写⼊ES数据库的⽅法1、安装Elasticsearch数据库
PS:在此之前需⾸先安装Java SE环境
安装head插件,便于查看管理(还可以⽤kibana)
提取码: 1rpp
修改配置⽂件elasticsearch-6.5.2\l如下:
进⼊elasticsearch-head-master⽬录下执⾏npm install -g grunt-cli,再执⾏npm install安装依赖
在elasticsearch-head-master⽬录下到Gruntfile.js⽂件修改服务器监听地址如下:
执⾏grunt server命令启动head服务
python安装教程非常详细2、将json⽂件写⼊ES数据库(py脚本如下)
# -*- coding: UTF-8 -*-
from itertools import islice
import json , sys
from elasticsearch import Elasticsearch , helpers
import threading
_index = 'indextest' #修改为索引名
_type = 'string' #修改为类型名
es_url = '192.168.116.1:9200/' #修改为elasticsearch服务器
reload(sys)
sys.setdefaultencoding('utf-8')
es = Elasticsearch(es_url)
ate(index=_index, ignore=400)
chunk_len = 10
num = 0
def bulk_es(chunk_data):
bulks=[]
try:
for i in xrange(chunk_len):
bulks.append({
"_index": _index,
"_type": _type,
"_source": chunk_data[i]
})
helpers.bulk(es, bulks)
except:
pass
with open(sys.argv[1]) as f:
while True:
lines = list(islice(f, chunk_len))
num =num +chunk_len
sys.stdout.write('\r' + 'num:'+'%d' % num)
sys.stdout.flush()
bulk_es(lines)
if not lines:
print "\n"
print "task has finished"
break
总结
以上所述是⼩编给⼤家介绍的Python将json⽂件写⼊ES数据库的⽅法,希望对⼤家有所帮助,如果⼤家有任何疑问请给我留⾔,⼩编会及时回复⼤家的。在此也⾮常感谢⼤家对⽹站的⽀持!
如果你觉得本⽂对你有帮助,欢迎转载,烦请注明出处,谢谢!
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论