datax模板_DataX从Mysql到Mysql
在某⼀个阳光明媚的上午，万⾥⽆云，天空⼀⽚蔚蓝。我的⽼⼤迈着矫健的步伐来到我的⼯位，来，过来，帮我个忙。我意识到这可能是⼀个不简单的“交易”。
⽼⼤说：我给你⼀个Navicat15的安装包，你之前接触过nb3格式的⽂件吗，我给你个S3的地址，你去上⾯把这⼏个⽂件下载下来，导到数据库中。我⼀听导数据呀，so easy，也没啥难度，我就拍着胸脯说，没问题。（这⾥不得不安利下Navicat15，可以换背景颜⾊了，可以换成我喜欢的⿊⾊了，哈哈哈哈。还增加了图表功能，也能够连MongDB了，其他我还没研究，我先⿎捣⿎捣）
下⾯就开⼲了，百度了下怎么把nb3⽂件导⼊到msyql数据库中，有兴趣的可以看下这个链接：
instructions的中文Navicat mysql 数据库备份和使⽤，备份以后是nb3⽂件b log.csdn
导⼊到数据库中，我⼀看表结构乱七⼋糟，内容也乱七⼋糟。
我才意识到这次导数可能不是那么的简单，原来这是爬⾍供应商给发过来，爬取的19年的历史数据，并
且我们现有的数据库中已经有⼀个表存着每天爬取的数据了，但是两个表的表结构还不⼀样。（现在就成了从mysql的A表导⼊B表）由于历史数据⼤概是30多个G左右，常规的写sql语句导⼊已经不能够满⾜了。
我在⽹上查了这中mysql的⼤量数据的导⼊导出，发现⼀个mysql⾃带⼀个导⼊导出功能，貌似还挺快，但是需要在mysql服务器上写命令，我就去问了下我们⽼⼤，是否能登录mysql服务器，可惜不能。（我们的mysql服务器托管在AWS，我们⽆法登录。）现附上mysql⾃带的导⼊导出功能的链接：
MySQL 亿级数据导⼊导出/数据迁移笔记b log.csdn
我们⽼⼤说你可以⽤DataX，之前xxx搞过（xxx也是⼀个⼤佬）你可以去问下他服务器的配置什么的。
由于之前服务器已经把DataX需要的环境已经安装好，咱们这⾥就不在描述如何安装环境了。（等我在⾃个买的服务器上⿎捣⿎捣）现在只是介绍下如何从mysql的A表ETL到B表。
下⾯重点来了：mysql面试题csdn
DataX时阿⾥巴巴集团内被⼴泛使⽤的离线数据同步⼯具/平台，实现包括Mysql、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODFS等各种异构数据源之间⾼效的数据同步功能。
下⾯是DataX官⽅的设计原理以及如何安装使⽤的资料链接：
alibaba/DataX g ithub
按照以下json模板编辑json⽂件，放到datax⽬录下的job⽬录下，修改json⽂件的可执⾏权限。
在datax⽬录下的bin⽬录中运⾏sudo python datax.py {your_job.json}
matlab在线运行json⽂件模板
{
"job": {
"content": [
{mysql通配符注意什么
"reader": {
"name": "mysqlreader",
"parameter": {
"username": 你要读取的数据库⽤户名,
"password": 你要读取的数据库密码,
"connection": [
{
"querySql": ["select col1,col2,col3 from table_name"],
"jdbcUrl": ["jdbc:mysql://你的服务器IP:3306/你的库名?useUnicode=true&characterEncoding=utf8"]              },
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"column": ["col1","col2","col3"],
"connection": [
{
"jdbcUrl": "jdbc:mysql://你的服务器IP:3306/你的库名?useUnicode=true&characterEncoding=utf8",                    "table": ["table_name"]
}
],
"username": 你要读取的数据库⽤户名,
"password": 你要读取的数据库密码,
"writeMode": "update"
}
}
}
khmer keyboard
],
"setting": {
linux操作系统的根目录是"speed": {
"channel": "50"
}
}
}
}
其中json串中每个关键字的含义，可以参考⼀下链接。
Datax的配置及使⽤_舍得斋-CSDN博客b log.csdn
⼈⽣没有梦想和咸鱼有什么区别，即使是咸鱼也要做最咸的那⼀条

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。