Canalproperties配置⽂件参数含义-canal.properties(1)properties配置⽂件
properties配置分为两部分:
1、canal.properties (系统根配置⽂件)
2、instance.properties (instance级别的配置⽂件,每个instance⼀份)
canal.properties介绍
canal配置主要分为两部分:
1、instance列表定义 (列出当前server上有多少个instance,每个instance的加载⽅式是spring/manager等)
参数名字参数说明默认值canal.destinations当前server上部署的instance列表⽆f.dir conf/⽬录所在的路径../conf
canal.auto.scan 开启instance⾃动扫描
如果配置为true,f.dir⽬录下的instance配
置变化会⾃动触发:
a. instance⽬录新增:触发instance配置载
⼊,lazy为true时则⾃动启动
b. instance⽬录删除:卸载对应instance配置,如已
启动则进⾏关闭
c. instance.properties⽂件变化:reload instance配
置,如已启动⾃动进⾏重启操作
true
fvwm3canal.auto.scan.interval instance⾃动扫描的间隔时间,单位秒5 canal.de全局配置加载⽅式spring canal.instance.global.lazy全局lazy模式false canal.instance.global.manager.address全局的manager配置⽅式的链接信息⽆
canal.instance.l全局的spring配置⽅式的组件⽂件classpath:spring/memory-instance.
xml (spring⽬录相对于f.dir)
de ample.lazy l .....instance级别的配置定义,如有配置,会⾃动覆盖
全局配置定义模式
命名规则:canal.instance.{name}.xxx
⽆
canal.instance.l v1.0.25版本新增,全局的tsdb配置⽅式的组件⽂件classpath:spring/l (spring ⽬录相对于f.dir)
2、common参数定义,⽐如可以将instance.properties的公⽤参数,抽取放置到这⾥,这样每个instance启动的时候就可以共享. 【instance.properties配置定义优先级⾼于canal.properties】
参数名字参数说明默认值
canal.id每个canal server实例的唯⼀标识,暂
⽆实际意义
1
canal.ip canal server绑定的本地IP信息,如果
不配置,默认选择⼀个本机IP进⾏启
动服务
⽆
canal.port canal server提供socket服务的端⼝11111
canal.zkServers canal server链接zookeeper集的链
接信息
例⼦:
10.20.144.22:2181,10.20.144.51:2181
⽆excel函数公式教程视频百度云
新频率,单位毫秒
1000
de canal内存store中数据缓存模式
1. ITEMSIZE : 根据buffer.size进⾏限
制,只限制记录的数量
2. MEMSIZE : 根据buffer.size
* unit的⼤⼩,限制缓存记
录的⼤⼩
MEMSIZE
buffer.size canal内存store中可缓存buffer记录
数,需要为2的指数
16384
java位运算左移右移unit 内存记录的单位⼤⼩,默认1KB,和buffer.size组合决定最终的内存使⽤⼤
⼩
1024
ansactionn.size 最⼤事务完整解析的长度⽀持
超过该长度后,⼀个事务可能会被拆
分成多次提交到canal store中,⽆法保
证事务的完整可见性
1024
canal.instance.fallbackIntervalInSeconds canal发⽣mysql切换时,在新的mysql
库上查binlog时需要往前查的时
间,单位秒
说明:mysql主备库可能存在解析延迟
或者时钟不统⼀,需要回退⼀段时
间,保证数据不丢
60
canal.able是否开启⼼跳检查false
canal.able是否开启⼼跳检查false
canal.instance.detecting.sql⼼跳检查sql insert into retl.xdual values(1,now()) on duplicate key update x=now() canal.instance.detecting.interval.time⼼跳检查频率,单位秒3
canal.threshold⼼跳检查失败重试次数3
canal.instance.detecting.heartbeatHaEnable ⼼跳检查失败后,是否开启⾃动mysql
⾃动切换
说明:⽐如⼼跳检查失败超过阀值
后,如果该配置为true,canal就会⾃
动链到mysql备库获取binlog数据
false
iveBufferSize⽹络链接参
数,SocketOptions.SO_RCVBUF
16384
canal.instancework.sendBufferSize⽹络链接参
数,SocketOptions.SO_SNDBUF
properties是什么文件
16384
canal.instancework.soTimeout⽹络链接参
数,SocketOptions.SO_TIMEOUT
30
canal.instance.filter.druid.ddl是否使⽤druid处理所有的ddl解析来获
取库和表名
true
canal.instance.filter.query.dcl是否忽略dcl语句false
canal.instance.filter.query.dml 是否忽略dml语句
(mysql5.6之后,在row模式下每条
DML语句也会记录SQL到binlog中,可
参考)
false
canal.instance.filter.query.ddl是否忽略ddl语句false
canal.instance. 是否忽略binlog表结构获取失败的异常小程序图片制作
(主要解决回溯binlog时,对应表已被删
除或者表结构和binlog不⼀致的情况)
false
canal.ws是否dml的数据变更事件
(主要针对⽤户只订阅ddl/dcl的操作)
false
canal. 是否忽略事务头和尾,⽐如针对写⼊
kakfa的消息时,不需要写⼊TransactionBegin/Transactionend事
件
false
canal.instance.binlog.format⽀持的binlog format格式列表
(otter会有⽀持format格式限制)
ROW,STATEMENT,MIXED
canal.instance.binlog.image⽀持的binlog image格式列表
(otter会有⽀持format格式限制)
完全随机设计数字表法FULL,MINIMAL,NOBLOB
ddl.isolation ddl语句是否单独⼀个batch返回
(⽐如下游dml/ddl如果做batch内⽆序
并发处理,会导致结构不⼀致)
false
canal.instance.parser.parallel 是否开启binlog并⾏解析模式
(串⾏解析资源占⽤少,但性能有瓶颈,
并⾏解析可以提升近2.5倍+)
true
canal.instance.parser.parallelBufferSize binlog并⾏解析的异步ringbuffer队列
(必须为2的指数)
256
canal.able是否开启tablemeta的tsdb能⼒true
canal.instance.tsdb.dir主要针对l时对应h2⽂件的
存放⽬录,默认为conf/xx/h2.mv.db
${canal.file.data.dir:../conf}/${canal.instance.destination:}
canal.instance.tsdb.url jdbc url的配置
(h2的地址为默认值,如果是mysql需
要⾃⾏定义)
jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
canal.instance.tsdb.dbUsername jdbc url的配置
(h2的地址为默认值,如果是mysql需
要⾃⾏定义)
canal
canal.instance.tsdb.dbPassword jdbc url的配置
(h2的地址为默认值,如果是mysql需
要⾃⾏定义)
canal
canal.instance.rds.accesskey aliyun账号的ak信息 (如果不需要在本
地binlog超过18⼩时被清理后⾃动下载oss上的binlog,可以忽略该值)
⽆
canal.instance.rds.secretkey aliyun账号的sk信息
(如果不需要在本地binlog超过18⼩时
被清理后⾃动下载oss上的binlog,可
以忽略该值)
⽆
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论