datax3.0oracle使⽤实例,DataX3.0配置过程
配置过程以及插件配置
官⽅提供的配置需求：本例使⽤了JDK1.8 Python使⽤了CentOS预装的版本。
System Requirements：
Linux、Windows
JDK(1.6以上，推荐1.6)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)
2、配置Maven
本⽂使⽤apache-maven-3.3.9版本
安装过程：解压maven的tar包，配置环境变量、
export M3_HOME=/usr/local/apache-maven-3.3.9
export PATH=$PATH:$M3_HOME/bin
在终端中输⼊mvn -v 确认是否安装成功。
3、配置git
1)先更新⼀下开发⼯具，命令：yum  groupinstall "Development Tools"
2)安装⼀些其他的依赖包：
sudo yum install gettext-devel openssl-devel perl-CPAN perl-devel zlib-devel
5)tar xvf v2.3. 解压下载的tar包
6)进⼊git⽬录，运⾏make install 命令
报错：不到 curl.h expat.h
运⾏ yum  install curl-devel
yum  install expat-devel
安装相应的开发包。
7)配置SSH Key ⽤于从github上获取源码
4、获取datax3.0的源码
5、配置DataX源码根⽬录中l
删除l中的不需要的reader和writer插件模块。
本例保留的模块如下mysqlreader、mysqlwriter、hdfsreader、hdfswriter  (streamreader、streamwriter为运⾏样例所需的，建议保留)：
mysqlreader
hdfsreader
streamreader
mysqlwriter
hdfswriter
streamwriter
plugin-rdbms-util
linux安装oracle依赖包plugin-unstructured-storage-util
6、 修改插件模块⽂件夹中的l中版本。
1)mysqlreader和mysqlwriter中的mysql-connector-java的5.1.34可以保留。
2)本例将hdfsreader和hdfswriter中的hive.version和hadoop.version更换为此前安装的2.1.0版本号和2.7.2版本号。如图：
7、 打开终端，进⼊DataX源码根⽬录
输⼊如下命令打包：
mvn -U clean package assembly:assembly -st.skip=true
打包成功结果如下：
8、 可在DataX源码根⽬录下到target⽂件夹，其中有打包好的⽬录结构与压缩包。
解压打包好的datax⾄本地某个⽬录，修改权限为755，进⼊bin⽬录，即可运⾏样例同步作业：
$ tar zxvf
$ sudo chmod -R 755 {YOUR_DATAX_HOME}
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py ../job/job.json
运⾏样例作业成功结果：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。