SQL优化策略
「优化策略」
1、对查询进⾏优化,应尽量避免全表扫描,⾸先应考虑在 WHERE 及 ORDER BY 涉及的列上建⽴索引。
2、应尽量避免在 WHERE ⼦句中对字段进⾏ NULL 值判断,创建表时NULL是默认值,但⼤多数时候应该使⽤ NOT NULL,或者使⽤⼀个特殊的值,如 0,-1 作为默认值。
3、应尽量避免在 WHERE ⼦句中使⽤ != 或 <> 操作符。MySQL 只有对以下操作符才使⽤索引:<,<=,=,>,>=,BETWEEN,IN,以及某些时候的 LIKE。
4、应尽量避免在 WHERE ⼦句中使⽤ OR 来连接条件,否则将导致引擎放弃使⽤索引⽽进⾏全表扫描,可以使⽤ UNION 合并查询:
select id from t where num=10 union all select id from t where num=20。
5、IN 和 NOT IN 也要慎⽤,否则会导致全表扫描。对于连续的数值,能⽤ BETWEEN 就不要⽤ IN:
select id from t where num between 1 and 3。
6、下⾯的查询也将导致全表扫描:
select id from t where name like‘%abc%’
或者
select id from t where name like‘%abc’
若要提⾼效率,可以考虑全⽂检索。⽽
select id from t where name like‘abc%’
才⽤到索引。
7、如果在 WHERE ⼦句中使⽤参数,也会导致全表扫描。
8、应尽量避免在 WHERE ⼦句中对字段进⾏表达式操作,应尽量避免在 WHERE ⼦句中对字段进⾏函数操作。
9、很多时候⽤ EXISTS 代替 IN 是⼀个好的选择:
select num from a where num in(select num from b)
⽤下⾯的语句替换:
select num from a where exists(select 1 from b where num=a.num)
10、索引固然可以提⾼相应的 SELECT 的效率,但同时也降低了 INSERT 及 UPDATE 的效。因为 INSERT 或 UPDATE 时有可能会重建索引,所以怎样建索引需要慎重考虑,
视具体情况⽽定。⼀个表的索引数最好不要超过 6 个,若太多则应考虑⼀些不常使⽤到的列上建的索引是否有必要。
11、应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,⼀旦该列值改变将导致整个表记录的顺序的调整,会耗费相当⼤
的资源。若应⽤系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。
12、尽量使⽤数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。
13、尽可能的使⽤ varchar, nvarchar 代替 char, nchar。因为⾸先变长字段存储空间⼩,可以节省存储空间,其次对于查询来说,在⼀个相对较⼩的字段内搜索效率显然要⾼些。
14、最好不要使⽤返回所有:select from t ,⽤具体的字段列表代替 “*”,不要返回⽤不到的任何字段。
15、尽量避免向客户端返回⼤数据量,若数据量过⼤,应该考虑相应需求是否合理。
16、使⽤表的别名(Alias):当在 SQL 语句中连接多个表时,请使⽤表的别名并把别名前缀于每个 Column 上。这样⼀来,就可以减少解析的时间并减少那些由 Column 歧义
引起的语法错误。
17、使⽤“临时表”暂存中间结果:
简化 SQL 语句的重要⽅法就是采⽤临时表暂存中间结果。但是临时表的好处远远不⽌这些,将临时结果暂存在临时表,后⾯的查询就在 tempdb 中了,这可以避免程序中多次扫
描主表,也⼤⼤减少了程序执⾏中“共享锁”阻塞“更新锁”,减少了阻塞,提⾼了并发性能。
18、⼀些 SQL 查询语句应加上 nolock,读、写是会相互阻塞的,为了提⾼并发性能。对于⼀些查询,可以加上 nolock,这样读的时候可以允许写,但缺点是可能读到未提交的
脏数据。
使⽤ nolock 有3条原则:
查询的结果⽤于“插、删、改”的不能加 nolock;
查询的表属于频繁发⽣页分裂的,慎⽤ nolock ;
使⽤临时表⼀样可以保存“数据前影”,起到类似 Oracle 的 undo 表空间的功能,能采⽤临时表提⾼并发性能的,不要⽤ nolock。
19、常见的简化规则如下:
不要有超过 5 个以上的表连接(JOIN),考虑使⽤临时表或表变量存放中间结果。少⽤⼦查询,视图嵌套不要过深,⼀般视图嵌套不要超过 2 个为宜。
20、将需要查询的结果预先计算好放在表中,查询的时候再Select。这在SQL7.0以前是最重要的⼿段,例如医院的住院费计算。
21、⽤ OR 的字句可以分解成多个查询,并且通过 UNION 连接多个查询。他们的速度只同是否使⽤索引有关,如果查询需要⽤到联合索引,⽤ UNION all 执⾏的效率更⾼。多
个 OR 的字句没有⽤到索引,改写成 UNION 的形式再试图与索引匹配。⼀个关键的问题是否⽤到索引。
22、在IN后⾯值的列表中,将出现最频繁的值放在最前⾯,出现得最少的放在最后⾯,减少判断的次数。
23、尽量将数据的处理⼯作放在服务器上,减少⽹络的开销,如使⽤存储过程。
存储过程是编译好、优化过、并且被组织到⼀个执⾏规划⾥、且存储在数据库中的 SQL 语句,是控制流语⾔的集合,速度当然快。反复执⾏的动态 SQL,可以使⽤临时存储过
程,该过程(临时表)被放在 Tempdb 中。
24、当服务器的内存够多时,配制线程数量 = 最⼤连接数+5,这样能发挥最⼤的效率;否则使⽤配制线程数量< 最⼤连接数,启⽤ SQL SERVER 的线程池来解决,如果还是数
量 = 最⼤连接数+5,严重的损害服务器的性能。
25、查询的关联同写的顺序:
select a.personMemberID, * from chineseresume a,personmember b where personMemberID = b.referenceid and a.personMemberID = 'JCNPRH39681' (A = B, B = '号码')
select a.personMemberID, * from chineseresume a,personmember b where a.personMemberID = b.referenceid and a.personMemberID = 'JCNPRH39681' ferenceid = 'JCNPRH39681' (A = B, B = '号码', A = '号码')select a.personMemberID, * from chineseresume a,personmember b ferenceid = 'JCNPRH39681' and a.personMemberID = 'JCNPRH39681' (B = '号码', A = '号码')
26、尽量使⽤ EXISTS 代替 select count(1) 来判断是否存在记录。count 函数只有在统计表中所有⾏数时使⽤,⽽且 count(1) ⽐ count(*) 更有效率。
27、尽量使⽤ “>=”,不要使⽤ “>”。
28、索引的使⽤规范:
索引的创建要与应⽤结合考虑,建议⼤的 OLTP 表不要超过 6 个索引;尽可能的使⽤索引字段作为查询条件,尤其是聚簇索引,必要时可以通过 index index_name 来强制指定索引;避免对⼤表查询时进⾏ table scan,必要时考虑新建索引;在使⽤索引字段作为条件时,如果该索引是联合索引,那么必须使⽤到该索引中的第⼀个字段作为条件时才能保证系统使⽤该索引,否则该索引将不会被使⽤;要注意索引的维护,周期性重建索引,重新编译存储过程。
29、下列 SQL 条件语句中的列都建有恰当的索引,但执⾏速度却⾮常慢:
SELECT * FROM record WHERE substrINg(card_no, 1, 4) = '5378' --13秒
SELECT * FROM record WHERE amount/30 < 1000 --11秒
SELECT * FROM record WHERE convert(char(10), date, 112) = '19991201' --10秒
分析:
WHERE ⼦句中对列的任何操作结果都是在 SQL 运⾏时逐列计算得到的,因此它不得不进⾏表搜索,⽽没有使⽤该列上⾯的索引。
如果这些结果在查询编译时就能得到,那么就可以被 SQL 优化器优化,使⽤索引,避免表搜索,因此将 SQL 重写成下⾯这样:
SELECT * FROM record WHERE card_no like '5378%' -- < 1秒
SELECT * FROM record WHERE amount < 1000*30 -- < 1秒
SELECT * FROM record WHERE date = '1999/12/01' -- < 1秒
30、当有⼀批处理的插⼊或更新时,⽤批量插⼊或批量更新,绝不会⼀条条记录的去更新。
31、在所有的存储过程中,能够⽤ SQL 语句的,我绝不会⽤循环去实现。
例如:列出上个⽉的每⼀天,我会⽤ connect by 去递归查询⼀下,绝不会去⽤循环从上个⽉第⼀天到最后⼀天。
32、选择最有效率的表名顺序(只在基于规则的优化器中有效):
Oracle 的解析器按照从右到左的顺序处理 FROM ⼦句中的表名,FROM ⼦句中写在最后的表(基础表 driving table)将被最先处理,在 FROM ⼦句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。
如果有 3 个以上的表连接查询,那就需要选择交叉表(intersection table)作为基础表,交叉表是指那个被其他表所引⽤的表。
33、提⾼ GROUP BY 语句的效率,可以通过将不需要的记录在 GROUP BY 之前过滤掉。下⾯两个查询返回相同结果,但第⼆个明显就快了许多。
低效:
sql语句优化方式SELECT JOB, AVG(SAL)
FROM EMP
GROUP BY JOB
HAVING JOB = 'PRESIDENT'
OR JOB = 'MANAGER'
⾼效:
SELECT JOB, AVG(SAL)
FROM EMP
WHERE JOB = 'PRESIDENT'
OR JOB = 'MANAGER'
GROUP BY JOB
34、SQL 语句⽤⼤写,因为 Oracle 总是先解析 SQL 语句,把⼩写的字母转换成⼤写的再执⾏。
35、别名的使⽤,别名是⼤型数据库的应⽤技巧,就是表名、列名在查询中以⼀个字母为别名,查询速度要⽐建连接表快 1.5 倍。
36、避免死锁,在你的存储过程和触发器中访问同⼀个表时总是以相同的顺序;事务应经可能地缩短,在⼀个事务中应尽可能减少涉及到的数据量;永远不要在事务中等待⽤户输⼊。
37、避免使⽤临时表,除⾮却有需要,否则应尽量避免使⽤临时表,相反,可以使⽤表变量代替。⼤多数时候(99%),表变量驻扎在内存中,因此速度⽐临时表更快,临时表驻扎在 TempDb 数据库中,因此临时表上的操作需要跨数据库通信,速度⾃然慢。
38、最好不要使⽤触发器:
触发⼀个触发器,执⾏⼀个触发器事件本⾝就是⼀个耗费资源的过程;如果能够使⽤约束实现的,尽量不要使⽤触发器;不要为不同的触发事件(Insert、Update 和 Delete)使⽤相同的触发器;不要在触发器中使⽤事务型代码。
39、索引创建规则:
表的主键、外键必须有索引;数据量超过 300 的表应该有索引;经常与其他表进⾏连接的表,在连接字段上应该建⽴索引;经常出现在 WHERE ⼦句中的字段,特别是⼤表的字段,应该建⽴索引;索引应该建在选择性⾼的字段上;索引应该建在⼩字段上,对于⼤的⽂本字段甚⾄超长字段,不要建索引;复合索引的建⽴需要进⾏仔细分析,尽量考虑⽤单字段索引代替;正确选择复合索引中的主列字段,⼀般是选择性较好的字段;复合索引的⼏个字段是否经常同时以 AND ⽅式出现在 WHERE ⼦句中?单字段查询是否极少甚⾄没有?如果是,则可以建⽴复合索引;否则考虑单字段索引;如果复合索引中包含的字段经常单独出现在 WHERE ⼦句中,则分解为多个单字段索引;如果复合索引所包含的字段超过 3 个,那么仔细考虑其必要性,考虑减少复合的字段;如果既有单字段索引,⼜有这⼏个字段上的复合索引,⼀般可以删除复合索引;频繁进⾏数据操作的表,不要建⽴太多的索引;删除⽆⽤的索引,避免对执⾏计划造成负⾯影响;表上建⽴的每个索引都会增加存储开销,索引对于插⼊、删除、更新操作也会增加处理上的开销。另外,过多的复合索引,在有单字段索引的情况下,⼀般都是没有存在价值的;相反,还会降低数据增加删除时的性能,特别是对频繁更新的表来说,负⾯影响更⼤。尽量不要对数据库中某个含有⼤量重复的值的字段建⽴索引。
40、MySQL 查询优化总结:
使⽤慢查询⽇志去发现慢查询,使⽤执⾏计划去判断查询是否正常运⾏,总是去测试你的查询看看是否他们运⾏在最佳状态下。
久⽽久之性能总会变化,避免在整个表上使⽤ count(*),它可能锁住整张表,使查询保持⼀致以便后续相似的查询可以使⽤查询缓存,在适当的情形下使⽤ GROUP BY ⽽不是DISTINCT,在 WHERE、GROUP BY 和 ORDER BY ⼦句中使⽤有索引的列,保持索引简单,不在多个索引中包含同⼀个列。
有时候 MySQL 会使⽤错误的索引,对于这种情况使⽤ USE INDEX,检查使⽤ SQL_MODE=STRICT 的问题,对于记录数⼩于5的索引字段,在 UNION 的时候使⽤LIMIT不是是⽤OR。
为了避免在更新前 SELECT,使⽤ INSERT ON DUPLICATE KEY 或者 INSERT IGNORE;不要⽤ UPDATE 去实现,不要使⽤ MAX;使⽤索引字段和 ORDER BY⼦句 LIMIT M,N 实际上可以减缓查询在某些情况下,有节制地使⽤,在 WHERE ⼦句中使⽤ UNION 代替⼦查询,在重新启动的 MySQL,记得来温暖你的数据库,以确保数据在内存和查询速度快,考虑持久连接,⽽不是多个连接,以减少开销。
基准查询,包括使⽤服务器上的负载,有时⼀个简单的查询可以影响其他查询,当负载增加在服务器上,使⽤ SHOW PROCESSLIST 查看慢的和有问题的查询,在开发环境中产⽣的镜像数据中测试的所有可疑的查询。
41、MySQL 备份过程:
从⼆级复制服务器上进⾏备份;在进⾏备份期间停⽌复制,以避免在数据依赖和外键约束上出现不⼀致;彻底停⽌ MySQL,从数据库⽂件进⾏备份;如果使⽤ MySQL dump 进⾏备份,请同时备份⼆进制⽇志⽂件 – 确保复制没有中断;不要信任 LVM 快照,这很可能产⽣数据不⼀致,将来会给你带来⿇烦;为了更容易进⾏单表恢复,以表为单位导出数据——如果数据是与其他表隔离的。当使⽤ mysqldump 时请使⽤ –opt;在备份之前检查和优化表;为了更快的进⾏导⼊,在导⼊时临时禁⽤外键约束。;为了更快的进⾏导⼊,在导⼊时临时禁⽤唯⼀性检测;在每⼀次备份后计算数据库,表以及索引的尺⼨,以便更够监控数据尺⼨的增长;通过⾃动调度脚本监控复制实例的错误和延迟;定期执⾏备份。
42、查询缓冲并不⾃动处理空格,因此,在写 SQL 语句时,应尽量减少空格的使⽤,尤其是在 SQL ⾸和尾的空格(因为查询缓冲并不⾃动截取⾸尾空格)。
43、member ⽤ mid 做标准进⾏分表⽅便查询么?⼀般的业务需求中基本上都是以 username 为查询依据,正常应当是 username 做 hash 取模来分表。
⽽分表的话 MySQL 的 partition 功能就是⼲这个的,对代码是透明的;在代码层⾯去实现貌似是不合理的。
44、我们应该为数据库⾥的每张表都设置⼀个 ID 做为其主键,⽽且最好的是⼀个 INT 型的(推荐使
⽤ UNSIGNED),并设置上⾃动增加的 AUTO_INCREMENT 标志。
45、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON,在结束时设置 SET NOCOUNT OFF。⽆需在执⾏存储过程和触发器的每个语句后向客户端发送
DONE_IN_PROC 消息。
46、MySQL 查询可以启⽤⾼速查询缓存。这是提⾼数据库性能的有效MySQL优化⽅法之⼀。当同⼀个查询被执⾏多次时,从缓存中提取数据和直接从数据库中返回数据快很多。
47、EXPLAIN SELECT 查询⽤来跟踪查看效果:
使⽤ EXPLAIN 关键字可以让你知道 MySQL 是如何处理你的 SQL 语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。EXPLAIN 的查询结果还会告诉你你的索引主键被如何利⽤的,你的数据表是如何被搜索和排序的。
48、当只要⼀⾏数据时使⽤ LIMIT 1 :
当你查询表的有些时候,你已经知道结果只会有⼀条结果,但因为你可能需要去fetch游标,或是你也许会去检查返回的记录数。
在这种情况下,加上 LIMIT 1 可以增加性能。这样⼀来,MySQL 数据库引擎会在到⼀条数据后停⽌搜索,⽽不是继续往后查少下⼀条符合记录的数据。
49、选择表合适存储引擎:
myisam:应⽤时以读和插⼊操作为主,只有少量的更新和删除,并且对事务的完整性,并发性要求不是很⾼的。InnoDB:事务处理,以及并发条件下要求数据的⼀致性。除了插⼊和查询外,包括很多的更新和删除。(InnoDB 有效地降低删除和更新导致的锁定)。对于⽀持事务的 InnoDB类型的表来说,影响速度的主要原因是 AUTOCOMMIT 默认设置是打开的,⽽且程序没有显式调⽤ BEGIN 开始事务,导致每插⼊⼀条都⾃动提交,严重影响了速度。可以在执⾏ SQL 前调⽤ begin,多条 SQL 形成⼀个事物(即使autocommit 打开也可以),将⼤⼤提⾼性能。
50、优化表的数据类型,选择合适的数据类型:
原则:更⼩通常更好,简单就好,所有字段都得有默认值,尽量避免 NULL。
例如:数据库表设计时候更⼩的占磁盘空间尽可能使⽤更⼩的整数类型。(mediumint 就⽐ int 更合适)
⽐如时间字段:datetime 和 timestamp。datetime 占⽤8个字节,timestamp 占⽤4个字节,只⽤了⼀半。⽽ timestamp 表⽰的范围是 1970—2037 适合做更新时间。
MySQL可以很好的⽀持⼤数据量的存取,但是⼀般说来,数据库中的表越⼩,在它上⾯执⾏的查询也就会越快。
因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能⼩。
例如:在定义这个字段时,如果将其设置为 CHAR(255),显然给数据库增加了不必要的空间。甚⾄使⽤VARCHAR 这种类型也是多余的,因为 CHAR(6) 就可以很好的完成任务了。
同样的,如果可以的话,我们应该使⽤ MEDIUMINT ⽽不是 BIGIN 来定义整型字段,应该尽量把字段设置为 NOT NULL,这样在将来执⾏查询的时候,数据库不⽤去⽐较 NULL 值。
对于某些⽂本字段,例如“省份”或者“性别”,我们可以将它们定义为 ENUM 类型。因为在 MySQL 中,ENUM 类型被当作数值型数据来处理,⽽数值型数据被处理起来的速度要⽐⽂本类型快得多。这样,我们⼜可以提⾼数据库的性能。
51、字符串数据类型:char, varchar, text 选择区别。
52、任何对列的操作都将导致表扫描,它包括数据库函数、计算表达式等等,查询时要尽可能将操作移⾄等号右边。
「总结」
本⽂⼀共讲述了52条SQL优化策略,如果能说出10种以上,证明此次⾯试还是很有戏的,如果能说出20种,⾯试官基本不再等你继续说了,你已经很⽜X了,此时在⾯试官的印象分哗啦啦的往上加。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论