DATAX同步mysql数据到ES步骤
DataX 是阿⾥巴巴集团内被⼴泛使⽤的离线数据同步⼯具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间⾼效的数据同步功能
最新的版本已经指出 ES 记录⼀下步骤
环境要求：
Linux
JDK1.8
Python2.6
Apache Maven 3.x
解压即⽤，所有的job  都配置在 /datax/job
启动命令
python datax.py ./job/stream2stream.json
懒得⼈总是很多，DataX集成可视化页⾯ 孕育⽽⽣
下载安装:
安装mvn  编译
tar zxvf apache-maven-3.6. && mv apache-maven-3.6.3 /usr/local/maven3
添加到环境变量
export M2_HOME=/usr/local/maven3
export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin
测试
mvn -v
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /usr/local/maven3
Java version: 1.8.0_251, vendor: Oracle Corporation, runtime: /usr/local/jdk1.8/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-514.26.2.el7.x86_64", arch: "amd64", family: "unix"
1.修改datax_admin下l⽂件
cat /opt/datax-web/datax-admin/src/main/l<<EOF
# 配置mybatis-plus打印slq⽇志
logging:
level:
com.wugui.datax.admin.mapper: error
path: ./data/applogs/admin  ##⽬录不存在请新建
执⾏doc/db下⾯的datax_web.sql⽂件
2.修改datax_executor下l⽂件# log config
logging:
config: l
path: ./data/applogs/executor/jobhandler
修改⽇志路径path
datax:
job:
admin:
### datax-web admin address
executor:
appname: datax-executor
ip:
port: 9999
### job log path
logpath: ./data/applogs/executor/jobhandler
### job log retention days
logretentiondays: 30
mysql下载appexecutor:
jsonpath: /Users/mac/data/applogs
pypath: /Users/mac/tools/datax/bin/datax.py
编译部署
1.本地安装好maven环境，安装此处细节忽略
2.执⾏mvn package -st.skip=true
3.打包成功后分别将datax-admin、datax-executor模块target下datax-admin-2.1.1.jar、datax-executor-2.1.1.jar放到指定⽬录
4.分别启动datax-admin-2.1.1.jar、datax-executor-2.1.1.jar
5.启动命令demo： nohup java -Xmx1024M -Xms1024M -Xmn448M -XX:MaxMetaspaceSize=192M -XX:MetaspaceSize=192M -jar datax-admin-2.1.1.jar& nohup java -Xmx1024M -Xms1024M -Xmn448M -XX:MaxMetaspaceSize=192M -
XX:MetaspaceSize=192M -jar datax-executor-2.1.1.jar&
访问测试

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。