kettle学习笔记(六)——kettle转换步骤⼀、概述
转换步骤分类:
1. 增加新的列
2. 字符串处理
3. ⾏列变换
4. 排序/排重/字段选择
5. 其他转换步骤
⼆、增加新的列
1.增加常量列
增加⼀列常量的列
其它增加列的操作⼤同⼩异,不⼀⼀赘述,只介绍计算器
1. 增加常量列
2. 增加序列列
3. 增加分组序列列
4. 增加校验列
5. 增加XML 列
6. 计算器
2.计算器
可以进⾏数值运算、⽇期运算等...
更多计算类型的介绍,参见wiki
三、字符串处理
1.字符串拆分
1.同Java的indexOf,左闭右开的形式
2.将⼀个字段拆分为多个字段,注意配置拆分后接收的字段
3.拆分成多⾏
类似上⾯,不过拆分成多⾏是这样的结果:
2.字符串合并
3.字符串替换
值映射:对数值进⾏映射,例如经典的性别1 0映射为男⼥:
正则匹配:
4.字符串其它转换
字符串操作:
可以进⾏字符串转义(例如> 转义为 >)、保留/去除字符串⾥的数字、移除特殊字符、补充长度四、⾏列变换
图⽰如下:(也叫正规化-列转⾏-宽表变窄表/ 反正规化-⾏转列-窄表变宽表)
⽰例如下:
窄表变宽表的配置:注意理解分组字段的含义
⾏转列,参考:
五、排序/去重/字段选择
1.排序
2.排重
Unique Row: 需要事先排序:
Unique Row(Hash): 不排序,速度快,占内存。
字符串长度排序
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论