1、安装准备
1.1 环境
Linux操作系统。(已测试SUSE11、RHEL5.4、 Ubuntu12.04)
JDK 1.6 或以上。
python 2.6 或以上。
Oracle客户端。
1.2 所需软件和源码
ant
rpm
dos2uni x(可选)
以上为工具系统一般自带,如没有,可单独安装。
dataexc hange源码
libicon v包(datax pluginoraclewriter用)
openjdk源码(datax pluginoraclewriter用)
2、编译安装
安装libic onv时需要r oot权限。在这里,为了方便,我们使用的ro ot用户。
2.1 完整安装
1.进入datae xchang e/rpm
2.先把所有spe c的文件格式转为unix格式,执行dos2u nix *.spec。也可以单个编辑, vi,然后执行 :set ff=unix。
(这一步也可以不执行。因为在wind ows下编辑这些文件有可以转成了do s格式,而rpmbu i l d时编译d o s格式会报错,所以还是建议手动转换下。也可安装完成后,检查plugi ns目录
下是否缺少自己用的插件,如果没有,那就可能是未编译成功的问题,可以单独安装下,方法见后面单个插件安装)
3.执行bashrpmbuil d.sh
4.然后选择安装目录,输入前面的数字。在这里我们安装到/home/bonc/下,选择1;如果选择3,随后输入安装路径,安装程序会在此路径下创建d a tax目录。
5.请选择你要编译打包的spe c文件个数,在这里选择al l,输入1。
然后安装程序会自动安装。等待几分钟,自动安装完成。
linux安装jdk rpm安装6.安装完成后,为使所有用户都能使用,可将datax/logs、datax/jobs两个目录设为777的权限。
cd/home/bonc/datax
chmod777 logs
chmod777 jobs
2.2安装单个插件
1.进入datae xchang e/rpm
2.执行bashrpmbuil d.sh
3.然后选择安装目录,输入前面的数字。
4.目录已存在,是否继续,yes,输入1。
5.请选择你要编译打包的spe c文件个数,在这里选择ot her,输入2。
6.会列出所有的s p ec文件,选择要安装的插件,比如execl writer, 输入
3、DataX使用
3.1 使用datax生成相关配置文件
进入到/home/bonc/datax/bin目录
1、执行datax路径下的bi n下的dat ax.py,该文件是程序入口。
2、命令行:pythondatax.py –e true ,根据提示选择数据库转换类型
3、执行成功之后会在datax路径的job s文件夹下生成XML配置文件。例如:xxx_to_xxx_1
l
4、根据数据库参数修改xml配置文件,对文件中所有显示“?”的value,属于必填项;即
使该项val ue为空,也要把“?”去掉,否则会报错。
3.2 根据配置文件执行相关操作
1、再次进入dat ax的bin路径下,执行pytho n datax.l //l需要写对该
xml文件的路径,否则会报错
2、执行成功之后会显示如下信息
3、可以在相关路径下看到生成文件,与数据库表中格式一样,表示此次过程成功。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论