sql加上唯⼀索引后批量插⼊_批量insertinto时防⽌更新插⼊重
复数据去重的⽅法...
mySQL中批量insert into时防⽌更新插⼊重复数据去重的⽅法，主要是讲到了ignore,Replace,ON DUPLICATE KEY UPDATE三种⽅法
⽅案⼀：使⽤ignore关键字
如果是⽤主键primary或者唯⼀索引unique区分了记录的唯⼀性，避免重复插⼊记录可以使⽤：
INSERT IGNORE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('www@365jz', '131********', '9999');
这样当有重复记录就会忽略，执⾏后返回数字0
还有个应⽤就是复制表，避免重复记录：INSERT IGNORE INTO `table_1` (`name`) SELECT `name` FROM `table_2`;
⽅案⼆：使⽤Replace
语法格式：
代码如下:REPLACE INTO `table_name`(`col_name`, ...) VALUES (...);
REPLACE INTO `table_name` (`col_name`, ...) SELECT ...;
REPLACE INTO `table_name` SET `col_name`='value',
...算法说明：
REPLACE的运⾏与INSERT很相像，但是如果旧记录与新记录有相同的值，则在新记录被插⼊之前，旧记录被删除，即：
尝试把新⾏插⼊到表中
当因为对于主键或唯⼀关键字出现重复关键字错误⽽造成插⼊失败时：
从表中删除含有重复关键字值的冲突⾏
再次尝试把新⾏插⼊到表中
旧记录与新记录有相同的值的判断标准就是：
表有⼀个PRIMARY KEY或UNIQUE索引，否则，使⽤⼀个REPLACE语句没有意义。该语句会与INSERT相同，因为没有索引被⽤于确定
是否新⾏复制了其它的⾏。
返回值：
REPLACE语句会返回⼀个数，来指⽰受影响的⾏的数⽬。该数是被删除和被插⼊的⾏数的和
受影响的⾏数可以容易地确定是否REPLACE只添加了⼀⾏，或者是否REPLACE也替换了其它⾏：检查该数是否为1(添加)或更⼤(替换)。
⽰例:
# eg:(phone字段为唯⼀索
引)REPLACE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('www@365jz', '131********', '123');
另外，在 SQL Server 中可以这样处理：
复制代码代码如
下:if not exists (select phone from t where phone= '1')  insert into t(phone, update_time) values('1', getdate()) else    update t set up
⽅案三：ON DUPLICATE KEY UPDATEmysql删除重复的数据保留一条
如上所写，你也可以在INSERT INTO…..后⾯加上 ON DUPLICATE KEY UPDATE⽅法来实现。如果您指定了ON DUPLICATE KEY
UPDATE，并且插⼊⾏后会导致在⼀个UNIQUE索引或PRIMARY KEY中出现重复值，则执⾏旧⾏UPDATE。
例如，如果列a被定义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：
复制代码代码如下:INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=`c`+1;
UPDATE `table` SET `c`=`c`+1 WHERE `a`=1;
如果⾏作为新记录被插⼊，则受影响⾏的值为1；如果原有的记录被更新，则受影响⾏的值为2。
注释：如果列b也是唯⼀列，则INSERT与此UPDATE语句相当：
复制代码代码如下:UPDATE `table` SET `c`=`c`+1 WHERE `a`=1 OR `b`=2 LIMIT 1;
如果a=1 OR b=2与多个⾏向匹配，则只有⼀个⾏被更新。通常，您应该尽量避免对带有多个唯⼀关键字的表使⽤ON DUPLICATE KEY⼦
句。
您可以在UPDATE⼦句中使⽤VALUES(col_name)函数从INSERT…UPDATE语句的INSERT部分引⽤列值。换句话说，如果没有发⽣重
复关键字冲突，则UPDATE⼦句中的VALUES(col_name)可以引⽤被插⼊的col_name的值。本函数特别适⽤于多⾏插⼊。VALUES()函
数只在INSERT…UPDATE语句中有意义，其它时候会返回NULL。
复制代码代码如
下:INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3), (4, 5, 6) ON DUPLICATE KEY UPDATE `c`=VALUES(`a`)+VALUES(`b`);
本语句与以下两个语句作⽤相同：
复制代码代码如下:INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=3;
INSERT INTO `table` (`a`, `b`, `c`) VALUES (4, 5, 6) ON DUPLICATE KEY UPDATE c=9;
注释：当您使⽤ON DUPLICATE KEY UPDATE时，DELAYED选项被忽略。
⽰例：
这个例⼦是我在实际项⽬中⽤到的：是将⼀个表的数据导⼊到另外⼀个表中，数据的重复性就得考虑(如下)，唯⼀索引为：email：
复制代码代码如
下:INSERT INTO `table_name1` (`title`, `first_name`, `last_name`, `email`, `phone`, `user_id`, `role_id`, `status`, `campaign_id`)
SELECT '', '', '', `table_name2`.`email`, `table_name2`.`phone`, NULL, NULL, 'pending', 29 FROM `table_name2`
WHERE `table_name2`.`status` = 1
ON DUPLICATE KEY UPDATE `table_name1`.`status`='pending'
再贴⼀个例⼦：
复制代码代码如
下:INSERT INTO `class` SELECT * FROM `class1` ON DUPLICATE KEY UPDATE `class`.`course`=`class1`.`course`
其它关键：DELAYED  做为快速插⼊，并不是很关⼼失效性，提⾼插⼊性能。
IGNORE  只关注主键对应记录是不存在，⽆则添加，有则忽略。
特别说明：在MYSQL中UNIQUE索引将会对null字段失效，也就是说(a字段上建⽴唯⼀索引)：
复制代码代码如下:INSERT INTO `test` (`a`) VALUES (NULL);
是可以重复插⼊的(联合唯⼀索引也⼀样)。
在插⼊⼤量数据时可能同时遇到两个问题：
如果每条更新执⾏⼀次sql性能很低，也容易造成阻塞；
批量插⼊时⼜有可能遇到主键 或者 唯⼀索引重复的问题，导致整个批量插⼊失败
使⽤ ON DUPLICATE KEY UPDATE ⼀条sql解决批量插⼊和主键或者唯⼀索引重复问题
举例如下：
表结构如下：create table mytable(
id int not null,
code char(6) not null,
description char(50) null,
number int not null,
name char(50) not null,
primary key id,
unique key uk_mytable_code (code));
批量插⼊如下：INSERT INTO mytable(id, code, description, number, name)
VALUES (?,?,?,?,?),(?,?,?,?,?),(?,?,?,?,?)
ON DUPLICATE KEY UPDATE description = VALUES(description), number = VALUES(number)
//description=VALUES(description)，number = VALUES(number) 表⽰出现在values中某列的id字段值与表中已有id字段值重复
(或者code的值与表中已有code字段值重复)时，会更新对应已存在记录的这两个字段
//还可以指定其它值或进⾏运算：number=number+ 1，number=number- 1
//因为这⾥未指定列name, 所以遇到重复id(或者code)列，表中该列的name字段不会更新
//如果某列作为新记录被插⼊，则受影响⾏的值为1；如果表中原有的记录被更新，则受影响⾏的值为2
Sqlite 批量操作时防⽌插⼊重复数据的⽅法：
在SQLITE中，可以⽤以下⽅法防⽌插⼊重复数据，
1.设置表的联合主键
2.在INSERT语句中添加OR IGNORE，即可(重复数据会跳过，且不影响后续数据插⼊)
⽰例如下：
insert OR IGNORE into PDA_Test (DeviceID,MethodName) values('1112','测试原有');
sqlite避免重复插⼊数据。
SQLite 数据库常⽤约束如下：NOT NULL - ⾮空UNIQUE - 唯⼀PRIMARY KEY - 主键FOREIGN KEY - 外键CHECK - 条件检查DEFAULT - 默认
⽤insert语句插⼊数据，为避免重复插⼊⼜不打断数据处理。
⾸先要避免重复插⼊，就必须在插⼊时引发冲突。在表中设置了id字段，该字段为UNIQUE属性，当插⼊的id已存在时引发冲突。
引发冲突后insert会做⼀些处理，处理⽅式由OR字句定义。包含如下：
ROLLBACK当发⽣约束冲突，⽴即ROLLBACK，即结束当前事务处理，命令中⽌并返回SQLITE_CONSTRAINT代码。若当前⽆活动事务(除了每⼀条命令创建的默认事务以外)，则该算法与ABORT相同。ABORT当发⽣约束冲突，命令收回已经引起的改变并中⽌返回
SQLITE_CONSTRAINT。但由于不执⾏ROLLBACK，所以前⾯的命令产⽣的改变将予以保留。缺省采⽤这⼀⾏为。FAIL当发⽣约束冲突，命令中⽌返回SQLITE_CONSTRAINT。但遇到冲突之前的所有改变将被保留。例如，若⼀条UPDATE语句在100⾏遇到冲突100th，前99⾏的改变将被保留，⽽对100⾏或以后的改变将不会发⽣。IGNORE当发⽣约束冲突，发⽣冲突的⾏将不会被插⼊或改变。但命令将照常执⾏。在冲突⾏之前或之后的⾏将被正常的插⼊和改变，且不返回错误信息。REPLACE当发⽣UNIQUE约束冲突，先存在的，导致冲突的⾏在更改或插⼊发⽣冲突的⾏之前被删除。这样，更改和插⼊总是被执⾏。命令照常执⾏且不返回错误信息。当发⽣NOT NULL约束冲突，导致冲突的NULL值会被字段缺省值取代。若字段⽆缺省值，执⾏ABORT算法
Sqlite执⾏insert or ignore 或insert or replace语句。insert or replace into cardlog (mid,type) values (7,0);
insert or ignore into cardlog (mid,type) values (7,0);
上⾯的第⼀条语句是每次执⾏时，如果不存在，则添加，如果存在，则更新。
上⾯的第⼆条语句是每次执⾏时，如果不存在，则添加，如果存在，则不操作。
在MSSQL中，你可以使⽤诸如：IF NOT EXISTS(SELECT * FROM Book WHERE ….) THEN INSERT INTO ... ELSE UPDATE SET ...

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。