mysql下载jar包[2]如何快速将存量mysql数据导⼊到ES
本⽂集主要是总结⾃⼰在项⽬中使⽤ES 的经验教训,包括各种实战和调优。
需求
为实现将mysql数据导⼊到elasticsearch中进⾏调研,发现使⽤插件可以很好地实现该功能。所以进⾏测试环境搭建,主要的参考链接如下。实现原理
通过执⾏⼀条sql语句,将每⼀⾏查询结果⽣成为⼀个input events。
Impo rta nt Fields:
1.statement:任何有效的sql声明都会执⾏,根据需求可以写复杂的sql语句,如使⽤INNER JOIN 或UNION ALL等
2.parameters:通过:<filedname>引⽤语法可以在sql声明中指定参数值
3.schedule:在执⾏sql时,可以同时进⾏有效的调度(这句话不是很理解)
安装过程
因为测试机不予许使⽤install、apt-get等⽅式,所以我们主要采⽤wget {url}或者本地下载好传到测试机的⽅式进⾏插件的下载。
需要安装⼀下插件:
3.下载mysql-connector-java-5.1.36-bin.jar:直接百度搜索以后从csdn上下载传到测试机上。
f 和jdbc.sql⽂件,见⽂档底部
启动过程
执⾏如下命令: ./bin/logstash -f /home/appops/logstash-5.3.0/f
同时通过curl命令查询相关信息。
logstash-input-jdbc 相关⽤法总结
Example:

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。