什么是kettle
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。
Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想要实现的功能:数据采集或者数据转换。
kettle的作用
kettle主要有两种脚本文件,一种是transformation,主要用来实现数据的基础采集和转化,另一种是job,用来实现整个工作流的调用或者控制。
可以用于文件、oracle、sql、db2等数据库和数据源。
Kettle的常用介绍
1. 几个主要的文件:.kettle\kettle.properties    类似于属性文件
SPOON.bat    打开程序主面板,图形界面
Spoon.bat:在windows 平台运行Spoon。
Spoon.sh:在 Linux、Apple OSX、Solaris 平台运行 Spoon。
kitchen.bat    批量调用任务
2. 要运行kettle工具必须安装Sun公司的JAVA运行环境,kettle 4.2.0
需要运行java    1.6或者更高版本,kettle不需要安装,安装好java
环境后,在操作系统环境变量path中配置jre路径,把kettle工具
压缩包解压后可直接使用。
安装简易教程
1. 安装jdk,任意目录即可。
2. 解压缩kettle4.2.rar文件到d:\盘,双击spoon.bat,能正常打开,
表示kettle已经正确安装。
3. 该服务器必须安装oracle客户端【管理员】类型。
4. 在D盘根目录新建kettle_log文件夹。
5. 设置环境变量KETTLE_HOME、KETTLE_LOG,如下:
6. 在path变量最后增加如下参数:
7. 打开菜单【编辑->Edit the kettle.properties file】,增加如下参
数:
其中:
ORACLE_LOAD_PATH: 路径,用以调用oracle bulk loader LOAD_LOG_PATH: 日志文件路径
DB_NAME:风控数据库实例名
ORACLE_POSITION: 分割符(X'5E')
COLL_STEP:实时采集步长
8. 打开spoon.bat启动kettle,单击【Tools->资源库->连接资源
库】,弹出如下界面:
在弹出窗口点击,弹出如下窗口:
9. 选择”Kettle database repository”选项并点击确定,出现如下窗
口:
【资源库信息窗口】选择数据库连接单击【新建】,弹出如下窗口,并按图中示例输入数据库配置信息并点击【OK】:
10. 按照下图输入资源库信息:
点击【创建或更新】,出现如下两个窗口并单击【是】:
properties在哪打开
11. 单击弹出窗口【简单SQL编辑器】的【执行】按钮,弹出【SQL
语句的运行结果】窗口,单击【确定】,然后单击【简单SQL编辑器】的【关闭】按钮,再点击【资源库信息】窗口的【确
定】按钮,剩下如下窗口,输入密码【admin】并回车,即可登陆资源库。
12. 按如下图单击菜单【Import Repository】,弹出窗口中选择文件
【l】,并点击【打开】:
点击弹出的【Apply import rules】的【否】,然后选择导入文件的目录,选择根目录并【确定】开始导入:
如果中间有报错,则先暂停导入,并打开【Tools->资源库->探索资源库】,在弹出窗口中删除已经导入的文件,并重复操作,导入过程中无弹出窗口,表示导入成功。
13. 添加任务计划,并修改批处理bat文件里面的配置。
日常问题
1. 调用整个main_job不报错,但是调用单个job报错。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。