mysql插⼊2000万数据_Mysql千万级别数据批量插⼊，性能提
⾼
-----------------------------------------------------------⽅式1 ----------------------------------------------------------------------------------------
第⼀步：配置my.ini⽂件
⽂件中配置
bulk_insert_buffer_size=120M 或者更⼤
将insert语句的长度设为最⼤。
Max_allowed_packet=1M
Net_buffer_length=8k
保存
第⼆步：查看设置的参选有没有⽣效.
批量更新sql语句
Mysql > SHOW VARIABLES;
bulk_insert_buffer_size默认是8M，我们要把它调成100M或百兆以上，也不要太⼤。下⾯看调整个好的，如下图：
第三步：完成设置后，批量插⼊数据时使⽤多条模式。
INSERT INTO table (field1,field2,field3) VALUES ('a',"b","c"), ('a',"b","c"),('a',"b","c");
----------------------------------------------------------- ⽅式2 ----------------------------------------------------------------------------------------建表语句：
DROP TABLE IF EXISTS `stock_discover`;
CREATE TABLE `stock_discover` (
`code` char(6) NOT NULL,
`index` int(11) unsigned NOT NULL DEFAULT '0',
`name` varchar(20) NOT NULL,
`exchange` varchar(10) NOT NULL DEFAULT '',
`date` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`yesterday` double unsigned NOT NULL,
PRIMARY KEY (`code`,`index`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC;
单个添加更新
如果记录在表中不存在则进⾏插⼊，如果存在则进⾏更新：
sql = "INSERT INTO stock_discover VALUES ('%s', 2, '%s', 'HZ', '%s', '%s')" \
" ON DUPLICATE KEY UPDATE `date` = '%s' , yesterday = '%s''"
#数据格式
data = ['000005', u'合肥', '2018-09-19 14:55:21', u'2520.64']
sql = sql % (data[0], data[1], data[2], data[3], data[2], data[3])
批量添加更新
在更新⼤量数据时可能同时遇到两个问题：
① 如果每条更新执⾏⼀次sql性能很低，也容易造成阻塞；
② 批量更新时⼜有可能遇到主键重复的问题
使⽤ ON DUPLICATE KEY UPDATE ⼀条sql解决批量更新和主键重复问题(id为主键)，使⽤executemany进⾏批量插⼊
# 记录在表中不存在则进⾏插⼊，如果存在则进⾏更新
sql = "INSERT INTO `stock_discover` VALUES (%s, %s, %s, %s, %s, %s) " \
"ON DUPLICATE KEY UPDATE `date` = VALUES(`date`) , yesterday = VALUES(yesterday)"
#数据格式如下：
data_info = [('000005', 2, u'合肥', 'HZ', '2018-09-19 14:55:21', u'2520.64'),
('000006', 2, u'北京', 'HZ', '2018-09-19 14:55:21', u'2694.92'),
('000007', 2, u'上海', 'HZ', '2018-09-19 14:55:21', u'2745.38')]
#批量插⼊使⽤executement
注意： ON DUPLICATE KEY UPDATE是mysql特有的语法，对于其他sql并不⼀定适⽤
也可以使⽤如下⽅法：
Mysql插⼊数据的SQL语句主要有：
1、insert into表⽰插⼊数据，数据库会检查主键，如果出现重复会报错；
2、replace into表⽰插⼊替换数据，需求表中有PrimaryKey，或者unique索引，如果数据库已经存在数据，则⽤新数据替换，如果没有数据效果则和insert into⼀样；
3、insert ignore表⽰，如果表中如果已经存在相同的记录，则忽略当前新数据；
create table testtb(
id int not null primary key,
name varchar(50),
age int
);
insert into testtb(id,name,age)values(1,'bb',13);
select * from testtb;
insert ignore into testtb(id,name,age)values(1,'aa',13);
select * from testtb;
replace into testtb(id,name,age)values(1,"aa",12);
select * from testtb;

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。