Kettle程序分析
1.简介
ETL是数据抽取（Extract）、转换（Transform）、装载（Load）的过程。 
Kettle是一款国外开源的ETL工具，有两种脚本文件transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
2.相关概念
Job：一个作业，由不同逻辑功能的entry组件构成，数据从一个entry组件传递到另一个entry组件，并在entry组件中进行相应的处理。
国外网站源码
Transformation：完成针对数据的基础转换，即一个数据转换过程。
Entry:实体，即job型组件。用来完成特定功能应用，是job的组成单元、执行单元。
Step:步骤，是Transformation的功能单元，用来完成整个转换过程的一个特定步骤。
Hop:工作流或转换过程的流向指示，从一个组件指向另一个组件，在kettle源工程中有三种hop，无条件流向、判断为真时流向、判断为假时流向。
3.体系结构
kettle平台是整个系统的基础，包括元数据管理引擎、数据集成引擎、UI和插件管理模块。
(1)元数据管理引擎
元数据管理引擎管理ktr、kjb或者元数据库，插件通过该引擎获取基本信息，主要包括TransMeta、JobMeta和StepMeta三个类。
TransMeta类，定义了一个转换（对应一个.ktr文件），提供了保存和加载该文件的方法；
JobMeta类，同样对应于一个工作(对应一个.kjb文件)，提供保存和加载方法；
StepMeta类，保存的是Step的一些公共信息的类，每个类的具体的元数据将保存在显示了StepMetaInterface的类里面。
(2)数据集成引擎
数据集成引擎包括Step引擎、Job引擎和数据库访问引擎三大部分，主要负责调用插件，并返回相应信息。
(3)UI
UI显示Spoon这个核心组件的界面，通过xul实现菜单栏、工具栏的定制化，显示插件界面接口元素，其中的TransGraph类和JobGraph类是用于显示转换和Job的类。
●TransGraph类
TransGraph类与显示
选中转换标签后，红框内的编辑区对象对应org.pentaho.di.ans包中的TransGraph类。
●JobGraph类
JobGraph类与显示
选中Job标签后，红框内的编辑区对象对应org.pentaho.di.ui.spoon.job包中的JobGraph类。
(4)插件管理模块
Kettle是众多“可供插入的地方”（扩展点）和“可以插入的东西”（扩展）共同组成的集合体。在我们的生活中，电源接线板就是一种“扩展点”，很多“扩展”（也就是电线插头）可以插在它上面。
插件管理引擎主要负责插件的注册，在Kettle中不管是以后的扩展还是系统集成的功能，本质上来讲都是插件，管理方式和运行机制是一致的。系统集成的功能点也均实现了对应的扩展接口，只是在插接的说明上略有不同。
Kettle的扩展点包括step插件、job entry插件、Database插件、Partioner插件、debugging插件。
4.功能模块
Kettle的主要包括四大功能模块：
Chef——工作(job)设计工具 (GUI方式)；
Kitchen——工作(job)执行器 (命令行方式)；
Spoon——转换(transform)设计工具 (GUI方式)；
Span——转换(trasform)执行器 (命令行方式)。
(1)Chef—工作(job)设计器
这是一个GUI工具，操作方式主要通过拖拽。
何谓工作？多个作业项，按特定的工作流串联起来，形成一项工作。正如：我的工作是软件开发。我的作业项是：设计、编码、测试！先设计，如果成功，则编码，否则继续设计，编码完成则开始设计，周而复始，作业完成。
1)Chef中的作业项
转换：指定更细的转换任务，通过Spoon生成，通过Field来输入参数；
SQL：sql语句执行；
FTP：下载ftp文件；
邮件：发送邮件；
检查表是否存在；
检查文件是否存在；
执行shell脚本：如dos命令。
批处理：(注意：windows批处理不能有输出到控制台)。
Job包：作为嵌套作业使用。
JavaScript执行：如果有自已的Script引擎，可以很方便的替换成自定义Script，来扩充其功能；
SFTP：安全的Ftp协议传输；
HTTP方式的上传/下载。
2)工作流
工作流是作业项的连接方式，分为三种：无条件，成功，失败。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。