史上最全-mysql迁移到clickhouse的5种办法
转载原⽂地址：
1
create table engin
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],
...
INDEX index_name1 expr1 TYPE type1(...) GRANULARITY value1,
INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2
)
ENGINE = MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query, 'on_duplicate_clause']);
官⽅⽂档:
clickhouse.yandex/docs/en/operations/table_engines/mysql/
注意，实际数据存储在远端mysql数据库中，可以理解成外表。
可以通过在mysql增删数据进⾏验证。
2
insert into select from
-- 先建表
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
...
) ENGINE = engine
-- 导⼊数据
INSERT INTO [db.]table [(c1, c2, c3)] select 列或者* from mysql('host:port', 'db', 'table_name', 'user', 'password')
可以⾃定义列类型，列数，使⽤clickhouse函数对数据进⾏处理，⽐如
select toDate(xx) from mysql("host:port","db","table_name","user_name","password")
3
create table as select from
CREATE TABLE [IF NOT EXISTS] [db.]table_name
ENGINE =Log
AS
SELECT *
FROM mysql('host:port', 'db', 'article_clientuser_sum', 'user', 'password')
⽹友⽂章:
jackpgao.github.io/2018/02/04/ClickHouse-Use-MySQL-Data/
不⽀持⾃定义列，参考资料⾥的博主写的ENGIN=MergeTree 测试失败。
可以理解成 create table 和 insert into select 的组合
4
Altinity/clickhouse-mysql-data-reader
Altinity公司开源的⼀个python⼯具，⽤来从mysql迁移数据到clickhouse(⽀持binlog增量更新和全量导⼊)，但是官⽅readme和代码脱节，根据quick start跑不通。
## 创建表
clickhouse-mysql \
--src-host=127.0.0.1 \
--src-user=reader \
--src-password=Qwerty1# \
--table-templates-with-create-database \
--ime > create_clickhouse_table_template.sql
## 修改脚本
vim create_clickhouse_table_template.sql
## 导⼊建表
clickhouse-client -mn < create_clickhouse_table_template.sql
## 数据导⼊
clickhouse-mysql \
--src-host=127.0.0.1 \
--src-user=reader \
--src-password=Qwerty1# \
--table-migrate \
--dst-host=127.0.0.1 \
--dst-table=logunified \
--csvpool
官⽅⽂档:
github/Altinity/clickhouse-mysql-data-reader#mysql-migration-case-1—migrate-existing-data
注意，上述三种都是从mysql导⼊clickhouse，如果数据量⼤，对于mysql压⼒还是挺⼤的。下⾯介绍两种离线⽅式(streamsets⽀持实时，也⽀持离线)
csv
## 忽略建表
clickhouse-client \
-h host \
--query="INSERT INTO [db].table FORMAT CSV" < test.csv
但是如果源数据质量不⾼，往往会有问题，⽐如包含特殊字符(分隔符，转义符)，或者换⾏。被坑的很惨。
⾃定义分隔符, --format_csv_delimiter="|"
遇到错误跳过⽽不中⽌， --input_format_allow_errors_num=10 最多允许10⾏错误, --input_format_allow_errors_ratio=0.1 允许10%的错误
csv 跳过空值(null) ，报
Code: 27. DB::Exception: Cannot parse input: expected , before: xxxx: (at row 69) ERROR: garbage after Nullable(Date): "8,002<LINE FEED>0205" sed ' :a;s/,,/,\\N,/g;ta' |clickhouse-client -h host --query "INSERT INTO [db].table FORMAT CSV 将 ,, 替换成 ,\N,
python clean_csv.py --src=src.csv --dest=dest.csv --chunksize=50000 --cols --encoding=utf-8 --delimiter=,
clean_csv.py参考我另外⼀篇《032-csv⽂件容错处理》
anjia0532.github.io/2019/07/16/clean-csv/
5
StreamSets
streamsets⽀持从mysql或者读csv全量导⼊，也⽀持订阅binlog增量插⼊，参考我另外⼀篇《025-⼤数据ETL⼯具之StreamSets安装及订阅mysql binlog》。anjia0532.github.io/2019/06/10/cdh-streamsets/
本⽂只展⽰从mysql全量导⼊clickhouse 本⽂假设你已经搭建起streamsets服务
启⽤并重启服务
上传mysql和clickhouse的jdbc jar和依赖包
便捷⽅式，创建l，使⽤maven统⼀下载
<project xmlns="/POM/4.0.0" xmlns:xsi="/2001/XMLSchema-instance"
xsi:schemaLocation="/POM/4.0.0 /maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.anjia</groupId>
<artifactId>demo</artifactId>
<packaging>jar</packaging>
<version>1.0-SNAPSHOT</version>
<name>demo</name>
<url></url>
<dependencies>
<dependency>
<groupId>ru.yandex.clickhouse</groupId>
<artifactId>clickhouse-jdbc</artifactId>
<version>0.1.54</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.47</version>
</dependency>
</dependencies>
</project>
如果本地装有maven，执⾏如下命令
mvn dependency:copy-dependencies -DoutputDirectory=lib -DincludeScope=compile
所有需要的jar会下载并复制到lib⽬录下
然后拷贝到 streamsets /opt/streamsets-datacollector-3.9.1/streamsets-libs-extras/streamsets-datacollector-jdbc-lib/lib/ ⽬录下
重启streamsets服务
mysql下载jar包

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。