如何使⽤Maxwell实时同步mysql数据
⽬录
Maxwell简介
Maxwell的配置与使⽤
1.下载Maxwell安装包
2.配置mysql，打开mysql binlog⽇志
3.启动Maxwell，主要介绍数据写⼊rabbitmq的实战：
rabbitmq的操作
全量同步
Maxwell简介
maxwell是由java编写的守护进程，可以实时读取mysql binlog并将⾏更新以JSON格式写⼊kafka、rabbit
Mq、redis等中，这样有了mysql增量数据流，使⽤场景就很多了，⽐如：实时同步数据到缓存，同步数据到ElasticSearch，数据迁移等等。Maxwell的配置与使⽤
maxwell 依赖java sdk，所以需要先配置JDK环境。
1.下载Maxwell安装包
root@xxx maxwell]# pwd
/usr/local/maxwell
[root@xxx maxwell]# wget github/zendesk/maxwell/releases/download/v1.19.5/maxwell-1.19.
[root@xxx maxwell]# tar zxvf maxwell-1.19.
[root@xxx maxwell]# cd maxwell-1.19.5
2.配置mysql，打开mysql binlog⽇志
[root@xxx mysql]# vi /usr/local/mysql/myf
[mysqld]
log-bin=mysql-bin #添加这⼀⾏就
binlog-format=ROW #选择row模式
server_id=1 #随机指定⼀个不能和其他集中机器重名的字符串，如果只有⼀台机器，那就可以随便指定了
重启mysql服务，登陆mysql，查看binlog⽇志模式
mysql> show variables like '%log_bin%'
+---------------------------------+-------------------------------+
| Variable_name | Value |
+---------------------------------+-------------------------------+
| log_bin | ON |
| log_bin_basename | /data/mysqldb/mysql-bin |
| log_bin_index | /data/mysqldb/mysql-bin.index |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+-------------------------------+
6 rows in set (0.11 sec)
Maxwell需要在schema_database选项指定的数据库中存储状态的权限（默认库名称为maxwell），所以需要提前给权限：
#创建⼀个有同步数据的⽤户yhrepl
mysql> create user 'yhrepl'@'*' identified by 'scgaopan';
Query OK, 0 rows affected (0.10 sec)
#此⽤户yhrepl要有对需要同步的数据库表有操作权限
mysql> grant all privileges on test.* to 'yhrepl'@'%' identified by 'scgaopan';
Query OK, 0 rows affected (0.13 sec)
#给yhrepl有同步数据的权限
mysql> grant select,replication client,replication slave on *.* to 'yhrepl'@'%' identified by 'scgaopan';
Query OK, 0 rows affected (0.10 sec)
# Maxwell需要在schema_database选项指定的数据库中存储状态的权限（默认库名称为maxwell）
mysql> grant all privileges on maxwell.* to 'yhrepl'@'%' identified by 'scgaopan';
Query OK, 0 rows affected (0.09 sec)
3.启动Maxwell，主要介绍数据写⼊rabbitmq的实战：
[root@xxx maxwell-1.19.5]# vi /usr/local/maxwell/maxwell-1.19.5/config.properties
#⽇志级别
log_level=DEBUG
producer=rabbitmq
daemon=true
#监控的数据库, mysql⽤户必须拥有读取binlog权限和新建库表的权限
host=47.
user=yhrepl
password=scgaopan
output_nulls=true
jdbc_options=autoReconnet=true
#监控数据库中的哪些表
filter=exclude: *.*,include: test.AA
#replica_server_id 和 client_id 唯⼀标⽰，⽤于集部署
replica_server_id=64
client_id=test-id
#metrics_type=http
#metrics_slf4j_interval=60
#http_port=8111
#http_diagnostic=true # default false
#rabbitmq
rabbitmq_host=47.
rabbitmq_port=5672
rabbitmq_user=guest
rabbitmq_pass=guest
rabbitmq_virtual_host=/
rabbitmq_exchange=maxwell
rabbitmq_exchange_type=topic
rabbitmq_exchange_durable=false
rabbitmq_exchange_autodelete=false
rabbitmq_routing_key_template=%db%.%table%
rabbitmq_message_persistent=false
rabbitmq_declare_exchange=true
启动Maxwell：
[root@xxx maxwell-1.19.5]# ./bin/maxwell
jdk怎么使用
#可以后台启动
[root@xxx maxwell-1.19.5]# nohub ./bin/maxwell &
启动成功，此时会⾃动⽣成maxwell库，该库记录了maxwell同步的状态，最后⼀次同步的id等等信息，在主库失败或同步异常后，只要maxwell库存在，下次同步会根据最后⼀次同步的id。如果没有⽣成maxwell库或报错，可能config.properties中配置的mysql⽤户权限不够
rabbitmq的操作
rabbitmq的操作，启动maxwell后就有⼀个maxwell的exchage⽣成
但对应的queue和exchange和queue的绑定需要⽤户⾃⼰去实现
新建⼀个maxwell-test的queue:
把queue与exchange进⾏绑定：
注意，这⾥的Routing key 是区分⼤⼩写的
在数据库中修改⼀条记录，可以看到maxwell-test队列⾥⾯有⼀第记录了。
全量同步
使⽤maxwell-bootstrap命令
./bin/maxwell-bootstrap --database xhd --table xhd-sso --host 127.0.0.1 --user xiehd --password xiehd2018 --client_id maxwell_dev
同步xhd.xhd-sso表的所有数据，并指定client_id⽰maxwell_dev的maxwell执⾏同步
上⼀个命令先开着，然后再启动client_id=maxwell_dev的maxwell
./bin/maxwell --client_id maxwell_dev
等待执⾏完成即可
以上就是如何使⽤Maxwell实时同步mysql数据的详细内容，更多关于⽤Maxwell同步mysql数据的资料请关注其它相关⽂章！
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论