golangmysql数据同步_使⽤Golang实现MySQL数据库之间的
表同步
这是⽤来实现两个 MySQL 数据库中的具有相同字段表的增量同步。
⽀持按照某种格式增量获取表中的待同步数据。
⽀持按照列名称向 数据库 的表中批量插⼊待同步的数据。
安装
go get -u github/cuckoopark/dbsync
数据库配置
在每⼀张需要同步的表中，应该有⼀个update_time
更新时间的⾮空字段(名字可以不⼀样，但是类型必须是时间相关类型)，⽤来按照更新时间获取最新的更新数据。
这个字段需要在数据更新时，⾃动更新为当前时间戳，⽤于记录数据更新的时间。
例如update_time DATETIME DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
的字段设置。
获取增量更新数据
可以批量获取⼀张表的最新更新的数据，⽅法如下：
func DoFetch(db *sql.DB, tableName string, options FetchOptions) (FetchResult, error)
其中参数说明：
db
：数据库操作句柄。
tableName
：表名称。
options
：获取时的配置信息，FetchOptions
格式如下所⽰：IgnoreFields
：需要忽略的列名称，获取数据的结果不包含该列。
PageNumber
：分页获取增量的页码，从1开始。
PageSize
：分页获取增量的页⼤⼩，判断分页是否结束，只需要判断获取结果的数量是否⼩于页⼤⼩即可。
UpdateTimeFieldName
：更新时间(即上⾯说明的update_time
)所在列的列名称。
LastUpdateTime
：
上次更新的时间戳，⼤于这个时间戳开始查询，如果为0，则表⽰查询全部数据。
WhereSqlStmt
：⾃定义SQL查询语句的Where⼦句，与更新时间的条件([UpdateTimeFieldName] > ?
)是AND
的关系。
WhereSqlArgs
：⾃定义SQL查询语句的Where⼦句的参数列表。
获取的结果，是FetchResult
格式的结构体：
columns
column_types
data
注：时间类型的列，获取的结果time.Time
会被转换为时间戳传递，⽤于节省数据长度。
插⼊单条更新数据
接⼝为：
func DoUpdateOne(db executor, tableName string, data []interface{}, options UpdateOptions) error 其中参数说明：
db
：数据库操作句柄。
tableName
：表名称。
data
批量更新sql语句：⼀条数据，⾥⾯的值与options.Columns
⼀⼀对应。
options
：插⼊时的配置信息，UpdateOptions
格式如下所⽰：Columns
：列名称列表，参照DoFetch
返回的结果。
ColumnTypes
：列的数据类型列表，参照DoFetch
返回的结果。
FixedFields
：
固定的插⼊列，因为在DoFetch
中会配置忽略⼀些列，所以这⾥可以给这些列设置值。
UniqueFields
：唯⼀键或主键的列名称列表，在插⼊失败时，更新操作不更新唯⼀键或主键。
该接⼝⽆返回值。
插⼊或更新会调⽤INSERT INTO ... VALUES (...) ON DUPLICATE KEY UPDATE ...
这种SQL语句来执⾏，不采⽤REPLACE INTO
的原因是它的更新会先删除旧数据，再插⼊新数据，可能导致⼀些忽略的字段被修改。
批量插⼊更新数据
接⼝为：
func DoUpdate(db *sql.DB, tableName string, data [][]interface{}, options UpdateMultiOptions) error 相⽐较插⼊单条更新数据的接⼝，只是数据变成了⼆维数组，options
⾥⾯多了⼀个配置项：
BatchCount
：⼀次批量插⼊的条数，⽤于加快插⼊或更新的执⾏速度。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论