kettle使⽤java版本_Kettle⽇常使⽤汇总整理
Kettle⽇常使⽤汇总整理
Kettle源码下载地址：
Kettle软件下载地址：
kettle-plugin源码下载地址：
kettle-big-data-plugin源码下载地址：
Kettle帮助⽂档下载地址：
⼀、如何将kettle部署到linux中去：(以root⽤户操作为例)
1、将window中正常使⽤的kettle的data-integration⽂件夹压缩成tar包；
2、将tar包上传到linux的指定⽂件夹中去；
3、利⽤tar命令将tar包进⾏解压；
4、运⾏./kitchen.sh命令，出现options内容，表⽰部署正常：
5、将连接数据库的驱动jar包换到对应的linux⽂件夹中，不然会连接不到数据库；
6、通过以上步骤，就可以完成对kettle在linux上的部署⼯作；
⼆、如何在Linux上登录kettle的⽂件资源库或数据库资源库：
说明：在window中可以通过可视化界⾯来登录kettle的资源库，在linux中没有可视化界⾯，windows中kettle的资源库信息是存储在⼀个配置⽂件中的，只需要将该配置⽂件上传到linux中指定⽂件位置即可，在执⾏某个转换或作业的时候，在命令中输⼊相应的资源库即可；
1、到window中存储kettle资源库信息的配置⽂件：
2、如果是⽂件库资源库，那么需要修改该配置⽂件中⽂件的路径：
3、如果是数据库资源库，那么不需要修改任何内容；
4、将该配置⽂件上传到linux中部署kettle⽤户⽂件下隐藏的.kettle⽂件夹下，本⼈是利⽤root⽤户部署的，因此放在/root/.kettle⽂件夹下即可：
5、通过以上⼏步，可以完成kettle资源库从window迁移到linux上；
三、Window中kettle的⽂件资源库如何在linux中执⾏：
1、⾸先要完成kettle中作业或转换所在的资源库迁移到linux上；
2、将需要执⾏的转换或作业⽂件迁移到linux中指定的⽂件资源库中去；
3、如果转换中还有数据库连接，那么需要将存储有数据库连接的配置⽂件也上传到linux上：(.kdb格式⽂件就是数据库配置⽂件)
4、然后登录linux，进⼊到Kettle的data-integration⽂件夹下，就可以通过百度linux kettle命令⾏ktr/job进⾏执⾏了。命令例⼦：
四、Window中kettle的数据库资源库如何在linux中执⾏：
1、⾸先，完成对window中登录数据库资源库配置⽂件上传到Linux中对应的位置；
2、然后登录linux，进⼊到Kettle的data-integration⽂件夹下，就可以通过百度linux kettle命令⾏ktr/job进⾏执⾏了。命令例⼦：
五、Kettle⽂件资源库与数据库资源库内容如何转换：
1、⽂件资源库导⼊到数据库资源库：
(1)⾸先，在kettle软件中登录到数据库资源库；
(2)然后，⽂件---从xml⽂件中导⼊，选择⾃⼰要导⼊的作业或转换，然后ctrl+s保存即可；
2、数据库资源库导⼊到⽂件资源库：
(1)⾸先，在kettle软件中登录到数据库资源库；
(2)然后，⽂件---导出-----导出到xml⽂件即可；
六、Kettle连接不同数据库驱动jar包放置位置：
Kettle软件部署在不同操作系统中，连接各种数据库的驱动jar包防⽌的位置是不同的，与操作系统有关，不同的操作系统上，驱动jar包放在对应的⽂件夹中即可，如下图：
七、kettle实现的功能：
kettle可以实现从不同数据源(excel、数据库、⽂本⽂件等)获取数据，然后将数据进⾏整合、转换处理，可以再将数据输出到指定的位置(excel、数据库、⽂本⽂件)等；
通过kettle处理⼤量数据⾮常⽅便，如果window服务器或者Linux服务器硬件⼀般情况下，对于处理千万级⼀下的数据都是可以的；
⼋、Kettle作业与转换如何配合使⽤：
1、⼀个作业相当于⼀个主要任务项，在这个主线中可以调⽤其它若⼲个转换，每个转换中可以从作业这个主线中获取数据，然后将数据进⾏相应的处理操作，再将数据传递给作业主线，也可以在转换中单独获取数据------处理数据------输出数据；
2、并且如果对于需要设置变量的情况下，⼀般也是需要⽤到作业与转换的配合使⽤，因为变量在当前线中设置，不能再当前线中获取，需要到下⼀个线中才能够获取；
3、⼀个任务只能够有⼀个主作业，但是可以有多个⼦作业，主作业中可以调⽤转换，也可以调⽤⼦作业，具体是调⽤转换还是调⽤⼦作业，需要根据不同的需求，进⾏不同的定制；
九、Kettle中设置编码格式：
如果处理的数据中有中⽂，需要对中⽂设置编码格式，⼀般是utf8格式，彻底的修改格式的⽅法就是，修改spoon.bat⽂件中增加如下信息："-ding=UTF-8"；
⼗、Kettle中调整运⾏性能：
Kettle默认的性能适⽤于普通的⼀般硬件，如果⾃⼰的电脑硬件⽐较好(内存⽐较⼤)，可以对kettle的spoon.bat中的参数进⾏修改，这样可以适当的提⾼kettle的运⾏性能，主要是修改-Xms、-Xmx、-XX:MaxPermSize三个参数的值：
-Xms：设置JVM初始内存；
-Xmx：设置JVM最⼤可⽤内存；
-XX:MaxPermSize：设置JVM最⼤允许分配内存，按需分配；
⾮常注意：
1、-Xmx必须⼩于等于系统内存的1/4，要不然会报错，其他两个选项不⼤于-Xmx；
2、当系统内存为4G时-Xmx不能⼤于1G，当系统内存为8G或更⼤时，java版本必须是64位的才能识别出来，此时-Xmx可以为2G或更⾼
⾃⼰配置的信息：window服务器内存8G：
-
XX:MaxPermSize = -Xmx = 4096m；
-Xms =  1024mjava xml是什么

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。