六种主流ETL⼯具的⽐较
(DataPipeline,Kettle,Talend,Infor。。。
六种主流ETL ⼯具的⽐较(DataPipeline,Kettle,Talend,Informatica,Datax ,Oracle Goldengate)
⽐较维度\产品DataPipeline kettle
Oracle
Goldengate
informatica talend DataX
设计及架构适⽤
场景
主要⽤于各类数据融
合、数据交换场景,
专为超⼤数据量、⾼
度复杂的数据链路设
计的灵活、可扩展的
数据交换平台
⾯向数据仓库建模传统ETL⼯
主要⽤于数据
备份、容灾
⾯向数据仓库建模传统
ETL⼯具
⾯向数据仓库建
模传统ETL⼯具
⾯向数据仓库建模
传统ETL⼯具
使⽤
⽅式
全流程图形化界⾯,
应⽤端采⽤B/S架
构,Cloud Native为
云⽽⽣,所有操作在
浏览器内就可以完
成,不需要额外的开
发和⽣产发布
C/S客户端模式,开发和⽣产
环境需要独⽴部署,任务的编
写、调试、修改都在本地,需
要发布到⽣产环境,线上⽣产
环境没有界⾯,需要通过⽇志
来调试、debug,效率低,费
时费⼒
没有图形化的
界⾯,操作皆
为命令⾏⽅
式,可配置能
⼒差
C/S客户端模式,开发和
⽣产环境需要独⽴部署,
任务的编写、调试、修改
都在本地,需要发布到⽣
产环境;学习成本较⾼,
⼀般需要受过专业培训的
⼯程师才能使⽤;
C/S客户端模
式,开发和⽣产
环境需要独⽴部
署,任务的编
写、调试、修改
都在本地,需要
发布到⽣产环
境;
DataX是以脚本的
⽅式执⾏任务的,
需要完全吃透源码
才可以调⽤,学习
成本⾼,没有图形
开发化界⾯和监控
界⾯,运维成本相
对⾼。
底层
架构
分布式集⾼可⽤架
构,可以⽔平扩展到
多节点⽀持超⼤数据
量,架构容错性⾼,
可以⾃动调节任务在
节点之间分配,适⽤
于⼤数据场景
主从结构⾮⾼可⽤,扩展性
差,架构容错性低,不适⽤⼤
数据场景
可做集部
署,规避单点
故障,依赖于
外部环境,如
Oracle RAC
等;
schema mapping⾮⾃
动;可复制性⽐较差;更
新换代不是很强
⽀持分布式部署
⽀持单机部署和集
部署两种⽅式
功能CDC
机制
基于⽇志、基于时间
戳和⾃增序列等多种
⽅式可选
基于时间戳、触发器等
主要是基于⽇
基于⽇志、基于时间戳和
⾃增序列等多种⽅式可选
基于触发器、基
于时间戳和⾃增
序列等多种⽅式
可选
离线批处理
对数
据库
的影
基于⽇志的采集⽅式
对数据库⽆侵⼊性
对数据库表结构有要求,存在
⼀定侵⼊性
源端数据库需
要预留额外的
缓存空间
基于⽇志的采集⽅式对数
据库⽆侵⼊性
有侵⼊性
通过sql select 采
集数据,对数据源
没有侵⼊性
⾃动
断点
续传
⽀持不⽀持⽀持
不⽀持,依赖ETL设计的
合理性(例如T-1),指
定续读某个时间点的数
据,⾮⾃动
不⽀持,依赖
ETL设计的合理
性(例如T-
1),指定续读
某个时间点的数
据,⾮⾃动
不⽀持
监控
预警
可视化的过程监控,
提供多样化的图表,
辅助运维,故障问题
可实时预警
依赖⽇志定位故障问题,往往
只能是后处理的⽅式,缺少过
程预警
⽆图形化的界
大数据etl工具有哪些⾯预警
monitor可以看到报错信
息,信息相对笼统,定位
问题仍需依赖分析⽇志
有问题预警,定
位问题仍需依赖
⽇志
依赖⼯具⽇志定位
故障问题,没有图
形化运维界⾯和预
警机制,需要⾃定
义开发。
数据
清洗
围绕数据质量做轻量
清洗
围绕数据仓库的数据需求进⾏
建模计算,清洗功能相对复
杂,需要⼿动编程
轻量清洗
⽀持复杂逻辑的清洗和转
⽀持复杂逻辑的
清洗和转化
需要根据⾃⾝清晰
规则编写清洗脚
本,进⾏调⽤
(DataX3.0 提供的
功能)。
数据
转换
⾃动化的schema
mapping
⼿动配置schema mapping
需⼿动配置异
构数据间的映
⼿动配置schema
mapping
⼿动配置
schema
mapping
通过编写json脚本
进⾏schema
mapping映射
射mapping mapping映射
特性数据
实时
实时⾮实时实时
⽀持实时,但是主流应⽤
都是基于时间戳等⽅式做
批量处理,实时同步效率
未知
实时定时
应⽤
难度
低⾼中⾼中⾼
是否
需要
开发
否是是是是是
易⽤
⾼低中低低低
稳定
⾼低⾼中中中
其他实施
及售
后服
原⼚实施和售后服务
开源软件,需⾃客户⾃⾏实
施、维护
原⼚和第三⽅
的实施和售后
服务
主要为第三⽅的实施和售
后服务
分为开源版和企
业版,企业版可
提供相应服务
阿⾥开源代码,需
要客户⾃动实施、
开发、维护

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。