MySql教程

【MySQL】03_优化

本文主要是介绍【MySQL】03_优化,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!


explain执行计划参数详解

select_type

1) SIMPLE:简单的SELECT,不实用UNION或者子查询。
2) PRIMARY:最外层SELECT。
3) UNION:第二层,在SELECT之后使用了UNION。
4) DEPENDENT UNION:UNION语句中的第二个SELECT,依赖于外部子查询。
5) UNION RESULT:UNION的结果。
6) SUBQUERY:子查询中的第一个SELECT。
7) DEPENDENT SUBQUERY:子查询中的第一个SELECT,取决于外面的查询。
8) DERIVED:导出表的SELECT(FROM子句的子查询)

table

显示这一行的数据是关于哪张表的

type

type字段比较重要,它标识了查询是否高效,是使用了全表扫描还是索引扫描等

这是重要的列,显示连接使用了何种类型。
从最好到最差的连接类型:const、eq_reg、ref、range、index和ALL

Type:告诉我们对表使用的访问方式,主要包含如下集中类型。

1) all:全表扫描。
2) const:读常量,最多只会有一条记录匹配,由于是常量,实际上只须要读一次。
3) eq_ref:最多只会有一条匹配结果,一般是通过主键或唯一键索引来访问。
4) fulltext:进行全文索引检索。
5) index:全索引扫描。
6) index_merge:查询中同时使用两个(或更多)索引,然后对索引结果进行合并(merge),再读取表数据。
7) index_subquery:子查询中的返回结果字段组合是一个索引(或索引组合),但不是一个主键或唯一索引。
8) rang:索引范围扫描。
9) ref:Join语句中被驱动表索引引用的查询。
10) ref_or_null:与ref的唯一区别就是在使用索引引用的查询之外再增加一个空值的查询。
11) system:系统表,表中只有一行数据;
12) unique_subquery:子查询中的返回结果字段组合是主键或唯一约束。

possible_keys

显示可能应用在这张表中的索引。如果为空,没有可能的索引。可以为相关的域从WHERE语句中选择一个合适的语句

key

实际使用的索引。如果为NULL,则没有使用索引。很少的情况下,MYSQL会选择优化不足的索引。这种情况下,可以在SELECT语句中使用USE INDEX(indexname)来强制使用一个索引或者用IGNORE INDEX(indexname)来强制MYSQL忽略索引

key_len

使用的索引的长度。在不损失精确性的情况下,长度越短越好

key_len计算方式 explain之key_len计算 - yayun - 博客园

ref

显示索引的哪一列被使用了,如果可能的话,是一个常数

rows

mysql查询优化器根据统计信息,估算sql要查找结果集需要扫描读取的数据行数,这个值可以直观的反映出sql的效率,原则上rows数值越小越好

Extra

关于MYSQL如何解析查询的额外信息。将在表4.3中讨论,但这里可以看到的坏的例子是Using temporary和Using filesort,意思MYSQL根本不能使用索引,结果是检索会很慢

Extra字段解释

Extra:查询中每一步实现的额外细节信息,主要会是以下内容。

Distinct:查找distinct 值,当mysql找到了第一条匹配的结果时,将停止该值的查询,转为后面其他值查询。

Full scan on NULL key:子查询中的一种优化方式,主要在遇到无法通过索引访问null值的使用。

Range checked for each record (index map: N):通过 MySQL 官方手册的描述,当 MySQL Query Optimizer 没有发现好的可以使用的索引时,如果发现前面表的列值已知,部分索引可以使用。对前面表的每个行组合,MySQL检查是否可以使用range或 index_merge访问方法来索取行。

SELECT tables optimized away:当我们使用某些聚合函数来访问存在索引的某个字段时,MySQL Query Optimizer 会通过索引直接一次定位到所需的数据行完成整个查询。当然,前提是在 Query 中不能有 GROUP BY 操作。如使用MIN()或MAX()的时候。

Using filesort:当Query 中包含 ORDER BY 操作,而且无法利用索引完成排序操作的时候,MySQL Query Optimizer 不得不选择相应的排序算法来实现。

Using index:所需数据只需在 Index 即可全部获得,不须要再到表中取数据。

Using index for group-by:数据访问和 Using index 一样,所需数据只须要读取索引,当Query 中使用GROUP BY或DISTINCT 子句时,如果分组字段也在索引中,Extra中的信息就会是 Using index for group-by。

Using temporary:当 MySQL 在某些操作中必须使用临时表时,在 Extra 信息中就会出现Using temporary 。主要常见于 GROUP BY 和 ORDER BY 等操作中。

Using where:如果不读取表的所有数据,或不是仅仅通过索引就可以获取所有需要的数据,则会出现 Using where 信息。

Using where with pushed condition:这是一个仅仅在 NDBCluster存储引擎中才会出现的信息,而且还须要通过打开 Condition Pushdown 优化功能才可能被使用。控制参数为 engine_condition_pushdown 。

Impossible WHERE noticed after reading const tables:MySQL Query Optimizer 通过收集到的统计信息判断出不可能存在结果。

No tables:Query 语句中使用 FROM DUAL或不包含任何 FROM子句。

Not exists:在某些左连接中,MySQL Query Optimizer通过改变原有 Query 的组成而使用的优化方法,可以部分减少数据访问次数。

join优化

需求:统计org_knowledge_department_active_week表(1664万)与org_knowledge_department_study_month表(280万)中orgid相同的数据。

org_knowledge_department_active_week结构信息

org_knowledge_department_study_month结构信息

此SQL语句执行过程:

从表t1中读入一行数据R
从数据R中取出字段orgid到表t2查找
取出表t2中满足条件的数据,与R组成一行,作为结果集的一部分
重复执行步骤1至3,直到t1表的末尾
此算法为Index nested-Loop Join (NLJ): 嵌套查找,并且用上了被驱动表的索引。

t1表

t2表

join算法:

Index nested-Loop Join (NLJ):

Block Nested-Loop Join (INL):

结论

​# Mysql全文搜索
业务场景需要使用’%%'查找指定数据。基于现有条件如何对于这条SQL做优化,尽可能不使用ES或者Solr这样的第三方工具。
当前笔者想到的是使用全文索引的方式。

ALTER TABLE group_info ADD FULLTEXT INDEX idx_full_parent_group_id(parent_group_id) with parser ngram;

ngram是一个分词器,支持英语,汉语等

字段parent_group_id是varchar类型。

全文索引的字段必须是 CHAR/VARCHAR/TEXT。
查询的方式

WHERE MATCH (col1,col2,...) AGAINST (expr [search_modifier])
select *
from group_info
where match(parent_group_id) against('00000000000000000000000000000000' IN NATURAL LANGUAGE MODE);

search_modifier 是所选取的匹配模式,在MYSQL中共有四种

IN NATURAL LANGUAGE MODE 自然语言模式
IN BOOLEAN MODE 逻辑模式
我们常用的是 自然语言模式 和 逻辑模式。

首先来聊聊 自然语言模式,很简单,顾名思义,MYSQL 会直接计算待匹配关键字,然后返回对应的值。

逻辑模式允许使用一些操作符检索数据,例如
AGAINST(‘a b’ IN BOOLEAN MODE) 表示,要么存在 a 要么存在 b
AGAINST(‘+a -b’ IN BOOLEAN MODE) 表示 必须存在 a 且 b 必须不存在

ngram解析的最小字是2,即当需要匹配一个字的时候,是不能找到数据的,只有>=2才会找到数据。

ngram_token_size	2

Mysql 5.6之前版本,只有myisam支持全文索引,5.6之后,Innodb和myisam均支持全文索引。
只有char、varchar、text类型字段能创建全文索引。
当大量写入数据时,建议先写入数据,后再建立全文索引,提高效率。
Mysql内置ngram 解析器,可以解析中日韩三国文字。有汉字的一定要启用它。
英文分词用空格,逗号;中文分词用 ngram_token_size 设定,后面有讲解。

需要将搜索短语长度设定合适
// InnoDB
innodb_ft_min_token_size = 3; 默认值
innodb_ft_max_token_size = 84; 默认值

//ngram解析器令牌长度----即aiginst()中字符串切分的最小字符长度
ngram_token_size = 2~10 ; 默认值
一般设定:(以下例子均是假定设置如下)
在 [mysqld]的下面追加:
innodb_ft_min_token_size = 1
ft_min_word_len = 1
ngram_token_size = 1

排序优化

这篇关于【MySQL】03_优化的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!