文章转载自:https://www.cnblogs.com/f-ck-need-u/p/9300829.html
当ProxySQL收到前端app发送的SQL语句后,它需要将这个SQL语句(或者重写后的SQL语句)发送给后端的MySQL Server,然后收到SQL语句的MySQL Server执行查询,并将查询结果返回给ProxySQL,再由ProxySQL将结果返回给客户端(如果设置了查询缓存,则先缓存查询结果)。
ProxySQL可以实现多种方式的路由:基于ip/port、username、schema、SQL语句。其中基于SQL语句的路由是按照规则进行匹配的,匹配方式有hash高效匹配、正则匹配,还支持更复杂的链式规则匹配。
本文将简单演示基于端口、用户和schema的路由,然后再详细介绍基于SQL语句的路由规则。不过需要说明的是,本文只是入门,为后面ProxySQL的高级路由方法做铺垫。
本文涉及到的实验环境如下:
首先修改ProxySQL监听SQL流量的端口号,让其监听在不同端口上。
admin> set mysql-interfaces='0.0.0.0:6033;0.0.0.0:6034'; admin> save mysql variables to disk;
然后重启ProxySQL。
# service proxysql stop # service proxysql start # netstat -tnlp | grep proxysql tcp 0 0 0.0.0.0:6032 0.0.0.0:* LISTEN 27572/proxysql tcp 0 0 0.0.0.0:6033 0.0.0.0:* LISTEN 27572/proxysql tcp 0 0 0.0.0.0:6034 0.0.0.0:* LISTEN 27572/proxysql
监听到不同端口,再去修改mysql_query_rules表。这个表是ProxySQL的路由规则定制表,后文会非常详细地解释该表。
例如,插入两条规则,分别监听在6033端口和6034端口,6033端口对应的hostgroup_id=10是负责写的组,6034对应的hostgroup_id=20是负责读的组。
insert into mysql_query_rules(rule_id,active,proxy_port,destination_hostgroup,apply) values(1,1,6033,10,1), (2,1,6034,20,1); load mysql query rules to runtime; save mysql query rules to disk;
这样就配置结束了,是否很简单?
其实除了基于端口进行分离,还可以基于监听地址(修改字段proxy_addr即可),甚至可以基于客户端地址(修改字段client_addr字段即可,该用法可用于采集数据、数据分析等)。
无论哪种路由方式,其实都是在修改mysql_query_rules表,所以下面先解释下这个表。
可以通过show create table mysql_query_rules语句查看定义该表的语句。
下面是我整理出来的字段属性。
| COLUMN | TYPE | NULL? | DEFAULT | |-----------------------|---------|----------|------------| | rule_id (pk) | INTEGER | NOT NULL | | | active | INT | NOT NULL | 0 | | username | VARCHAR | | | | schemaname | VARCHAR | | | | flagIN | INT | NOT NULL | 0 | | client_addr | VARCHAR | | | | proxy_addr | VARCHAR | | | | proxy_port | INT | | | | digest | VARCHAR | | | | match_digest | VARCHAR | | | | match_pattern | VARCHAR | | | | negate_match_pattern | INT | NOT NULL | 0 | | re_modifiers | VARCHAR | | 'CASELESS' | | flagOUT | INT | | | | replace_pattern | VARCHAR | | | | destination_hostgroup | INT | | NULL | | cache_ttl | INT | | | | reconnect | INT | | NULL | | timeout | INT | | | | retries | INT | | | | delay | INT | | | | mirror_flagOU | INT | | | | mirror_hostgroup | INT | | | | error_msg | VARCHAR | | | | sticky_conn | INT | | | | multiplex | INT | | | | log | INT | | | | apply | INT | NOT NULL | 0 | | comment | VARCHAR | | |
各个字段的意义如下:有些字段不理解也无所谓,后面会分析一部分比较重要的。
基于mysql user的配置方式和基于端口的配置是类似的。
需要注意,在插入mysql user到mysql_users表中时,就已经指定了默认的路由目标组,这已经算是一个路由规则了(只不过是默认路由目标)。当成功匹配到mysql_query_rules中的规则时,这个默认目标就不再生效。所以,通过默认路由目标,也能简单地实现读写分离。
例如,在后端MySQL Server上先创建好用于读、写分离的用户。例如,root用户用于写操作,reader用户用于读操作。
# 在master节点上执行: grant all on *.* to root@'192.168.100.%' identified by 'P@ssword1!'; grant select,show databases,show view on *.* to reader@'192.168.100.%' identified by 'P@ssword1!';
然后将这两个用户添加到ProxySQL的mysql_users表中,并创建两条规则分别就有这两个用户进行匹配。
insert into mysql_users(username,password,default_hostgroup) values('root','P@ssword1!',10),('reader','P@ssword1!',20); load mysql users to runtime; save mysql users to disk; delete from mysql_query_rules; # 为了测试,先清空已有规则 insert into mysql_query_rules(rule_id,active,username,destination_hostgroup,apply) values(1,1,'root',10,1),(2,1,'reader',20,1); load mysql query rules to runtime; save mysql query rules to disk;
当然,在上面演示的示例中,mysql_query_rules中基于username的规则和mysql_users中这两个用户的默认规则是重复了的。
ProxySQL支持基于schemaname进行路由。这在一定程度上实现了简单的sharding功能。例如,将后端MySQL集群中的节点A和节点B定义在不同主机组中,ProxySQL将所有对于DB1库的查询路由到节点A所在的主机组,将所有对DB2库的查询路由到节点B所在的主机组。
只需配置一个schemaname字段就够了,好简单,是不是感觉很爽。但想太多了,ProxySQL的schemaname字段只是个鸡肋,要实现分库sharding,只能通过正则匹配、查询重写的方式来实现。
例如,原语句如下,用于找出浙江省的211大学。
select * from zhongguo.university where prov='Zhejiang' and high=211;
按省份分库后,通过ProxySQL的正则替换,将语句改写为如下SQL语句:
select * from Zhejiang.university where 1=1 high=211;
然后还可以将改写后的SQL语句路由到指定的主机组中,实现真正的分库。
从这里开始,开始介绍ProxySQL路由规则的核心:基于SQL语句的路由。
ProxySQL接收到前端发送的SQL语句后,首先分析语句,然后从mysql_query_rules表中寻找是否有匹配该语句的规则。如果先被username或ip/port类的规则匹配并应用,则按这些规则路由给后端,如果是被基于SQL语句的规则匹配,则启动正则引擎进行正则匹配,然后路由给对应的后端组,如果规则中指定了正则替换字段,则还会重写SQL语句,然后再发送给后端。
ProxySQL支持两种类型的SQL语句匹配方式:match_digest和match_pattern。在解释这两种匹配方式之前,有必要先解释下SQL语句的参数化。
6.1 SQL语句分类:参数化
什么是参数化?
select * from tbl where id=?
这里将where条件语句中字段id的值进行了参数化,也就是上面的问号?。
我们在客户端发起的SQL语句都是完整格式的语句,但是SQL优化引擎出于优化的目的需要考虑很多事情。例如,如何缓存查询结果、如何匹配查询缓存中的数据并取出,等等。将SQL语句参数化是优化引擎其中的一个行为,对于那些参数相同但参数值不同的查询语句,SQL语句认为这些是同类查询,同类查询的SQL语句不会重复去编译而增加额外的开销。
例如,下面的两个语句,就是同类SQL语句:
select * from tbl where id=10; select * from tbl where id=20;
将它们参数化后,结果如下:
select * from tbl where id=?;
通俗地讲,这里的"?"就是一个变量,任何满足这个语句类型的值都可以传递到这个变量中。
所以,对参数化进行一个通俗的定义:对于那些参数相同、参数值不同的SQL语句,使用问号"?"去替换参数值,替换后返回的语句就是参数化的结果。
无论是MySQL、SQL Server还是Oracle(这个不确定),优化引擎内部都会将语句进行参数化。例如,下面是SQL Server的执行计划,其中"@1"就是所谓的问号"?"。
ProxySQL也支持参数化。当前端发送SQL语句到达ProxySQL后,ProxySQL会将其参数化并分类。例如,下面是sysbench测试过程中,ProxySQL统计的参数化语句。
+----+----------+------------+-------------------------------------------------------------+ | hg | sum_time | count_star | digest_text | +----+----------+------------+-------------------------------------------------------------+ | 2 | 14520738 | 50041 | SELECT c FROM sbtest1 WHERE id=? | | 1 | 3142041 | 5001 | COMMIT | | 1 | 2270931 | 5001 | SELECT c FROM sbtest1 WHERE id BETWEEN ? AND ?+? ORDER BY c | | 1 | 2021320 | 5003 | SELECT c FROM sbtest1 WHERE id BETWEEN ? AND ?+? | | 1 | 1768748 | 5001 | UPDATE sbtest1 SET k=k+? WHERE id=? | | 1 | 1697175 | 5003 | SELECT SUM(K) FROM sbtest1 WHERE id BETWEEN ? AND ?+? | | 1 | 1346791 | 5001 | UPDATE sbtest1 SET c=? WHERE id=? | | 1 | 1263259 | 5001 | DELETE FROM sbtest1 WHERE id=? | | 1 | 1191760 | 5001 | INSERT INTO sbtest1 (id, k, c, pad) VALUES (?, ?, ?, ?) | | 1 | 875343 | 5005 | BEGIN | +----+----------+------------+-------------------------------------------------------------+
ProxySQL的mysql_query_rules表中有三个字段,能基于参数化后的SQL语句进行三种不同方式的匹配:
如果要进行SQL语句的重写(即正则替换),或者对参数值匹配,则必须采用match_pattern。如果可以,尽量采用digest匹配方式,因为它的效率更高。
6.2 路由相关的几个统计表
在ProxySQL的stats库中,包含了几个统计表。
admin> show tables from stats; +--------------------------------------+ | tables | +--------------------------------------+ | global_variables | | stats_memory_metrics | | stats_mysql_commands_counters | <--已执行查询语句的统计信息 | stats_mysql_connection_pool | <--连接池信息 | stats_mysql_connection_pool_reset | <--重置连接池统计数据 | stats_mysql_global | <--全局统计数据 | stats_mysql_prepared_statements_info | | stats_mysql_processlist | <--模拟show processlist的结果 | stats_mysql_query_digest | <--本文解释 | stats_mysql_query_digest_reset | <--本文解释 | stats_mysql_query_rules | <--本文解释 | stats_mysql_users | <--各mysql user前端和ProxySQL的连接数 | stats_proxysql_servers_checksums | <--ProxySQL集群相关 | stats_proxysql_servers_metrics | <--ProxySQL集群相关 | stats_proxysql_servers_status | <--ProxySQL集群相关 +--------------------------------------+
6.2.1 stats_mysql_query_digest
这个表对于分析SQL语句至关重要,是分析语句性能、定制路由规则指标的最主要来源。
刚才已经解释过什么是SQL语句的参数化,还说明了ProxySQL会将参数化后的语句进行hash计算得到它的digest,这个统计表中记录的就是每个参数化分类后的语句对应的统计数据,包括该类语句的执行次数、所花总时间、所花最短、最长时间,还包括语句的文本以及它的digest。
如下图:
以下是各个字段的意义:
注意,该表中的查询所花时长是指ProxySQL从接收到客户端查询开始,到ProxySQL准备向客户端发送查询结果的时长。因此,这些时间更像是客户端看到的发起、接收的时间间隔(尽管客户端到服务端数据传输也需要时间)。更精确一点,在执行查询之前,ProxySQL可能需要更改字符集或模式,可能当前后端不可用(当前后端执行语句失败)而找一个新的后端,可能因为所有连接都繁忙而需要等待空闲连接,这些都不应该计算到查询执行所花时间内。
其中hostgroup、digest、digest_text、count_start、{sum,min,max}_time这几列最常用。
例如:
admin> select hostgroup hg,count_star,sum_time,digest,digest_text from stats_mysql_query_digest; +----+------------+----------+--------------------+------------------------+ | hg | count_star | sum_time | digest | digest_text | +----+------------+----------+--------------------+------------------------+ | 10 | 4 | 2412 | 0xADB885E1F3A7A5C2 | select * from test2.t1 | | 10 | 6 | 4715 | 0x57497F236587B138 | select * from test1.t1 | +----+------------+----------+--------------------+------------------------+
6.2.2 stats_mysql_query_digest_reset
这个表的表结构和stats_mysql_query_digest是完全一样的,只不过每次从这个表中检索数据(随便检索什么,哪怕where 1=0),都会重置stats_mysql_query_digest表中已统计的数据。
6.2.3 stats_mysql_query_rules
这个表只有两个字段:
6.3 基于SQL语句路由:digest
digest匹配规则是对digest进行精确匹配。
例如,从stats_mysql_query_digest中获取两个对应的digest值。注意,现在它们的hostgroup_id=10。
6.3 基于SQL语句路由:digest
digest匹配规则是对digest进行精确匹配。
例如,从stats_mysql_query_digest中获取两个对应的digest值。注意,现在它们的hostgroup_id=10。
admin> select hostgroup hg,count_star,sum_time,digest,digest_text from stats_mysql_query_digest; +----+------------+----------+--------------------+------------------------+ | hg | count_star | sum_time | digest | digest_text | +----+------------+----------+--------------------+------------------------+ | 10 | 4 | 2412 | 0xADB885E1F3A7A5C2 | select * from test2.t1 | | 10 | 6 | 4715 | 0x57497F236587B138 | select * from test1.t1 | +----+------------+----------+--------------------+------------------------+
插入两条匹配这两个digest的规则:
insert into mysql_query_rules(rule_id,active,digest,destination_hostgroup,apply) values(1,1,"0xADB885E1F3A7A5C2",20,1),(2,1,"0x57497F236587B138",10,1);
然后测试
mysql -uroot -pP@ssword1! -h127.0.0.1 -P6033 -e "select * from test1.t1;" mysql -uroot -pP@ssword1! -h127.0.0.1 -P6033 -e "select * from test2.t1;"
再去查看规则的路由命中情况:
admin> select * from stats_mysql_query_rules; +---------+------+ | rule_id | hits | +---------+------+ | 1 | 1 | | 2 | 1 | +---------+------+
查看路由的目标:
admin> select hostgroup hg,count_star cs,digest,digest_text from stats_mysql_query_digest; +----+----+--------------------+------------------------+ | hg | cs | digest | digest_text | +----+----+--------------------+------------------------+ | 20 | 1 | 0xADB885E1F3A7A5C2 | select * from test2.t1 | | 10 | 1 | 0x57497F236587B138 | select * from test1.t1 | +----+----+--------------------+------------------------+
可见,基于digest的精确匹配规则已经生效。
6.4 基于SQL语句路由:match_digest
match_digest是对digest做正则匹配,但注意match_pattern字段中给的规则不是hash值,而是SQL语句的文本匹配规则。
ProxySQL支持两种正则引擎:
老版本中默认的正则引擎是RE2,现在默认的正则引擎是PCRE。可从变量mysql-query_processor_regex获知当前的正则引擎是RE2还是PCRE:
Admin> select @@mysql-query_processor_regex; +-------------------------------+ | @@mysql-query_processor_regex | +-------------------------------+ | 1 | +-------------------------------+
其中1代表PCRE,2代表RE2。
在mysql_query_rules表中有一个字段re_modifiers,它用于定义正则引擎的修饰符,默认已经设置caseless,表示正则匹配时忽略大小写,所以select和SELECT都能匹配。此外,还可以设置global修饰符,表示匹配全局,而非匹配第一个,这个在重写SQL语句时有用。
(RE2引擎无法同时设置caseless和global,即使它们都设置了也不会生效。所以,将默认的正则引擎改为了PCRE)
在进行下面的实验之前,先把mysql_query_rules表清空,并将规则的统计数据也清空。
delete from mysql_query_rules; select * from stats_mysql_query_digest_reset; insert into mysql_query_rules(rule_id,active,match_digest,destination_hostgroup,apply) values (1,1,"^select .* test2.*",20,1),(2,1,"^select .* test1.*",10,1); load mysql query rules to runtime; save mysql query rules to disk;
然后分别执行:
mysql -uroot -pP@ssword1! -h127.0.0.1 -P6033 -e "select * from test1.t1;" mysql -uroot -pP@ssword1! -h127.0.0.1 -P6033 -e "select * from test2.t1;"
查看规则匹配结果:
admin> select * from stats_mysql_query_rules; +---------+------+ | rule_id | hits | +---------+------+ | 1 | 1 | | 2 | 1 | +---------+------+ admin> select hostgroup hg,count_star cs,digest,digest_text dt from stats_mysql_query_digest; +----+----+--------------------+------------------------+ | hg | cs | digest | dt | +----+----+--------------------+------------------------+ | 10 | 1 | 0x57497F236587B138 | select * from test1.t1 | | 20 | 1 | 0xADB885E1F3A7A5C2 | select * from test2.t1 | +----+----+--------------------+------------------------+
显然,命中规则,且按照期望进行路由。
如果想对match_digest取反,即不被正则匹配的SQL语句才命中规则,则设置mysql_query_rules表中的字段negate_match_pattern=1。同样适用于下面的match_pattern匹配方式。
6.5 基于SQL语句路由:match_pattern
和match_digest的匹配方式类似,但match_pattern是基于原始SQL语句进行匹配的,包括参数值。有两种情况必须使用match_pattern:
如果想对match_pattern取反,即不被正则匹配的SQL语句才命中规则,则设置mysql_query_rules表中的字段negate_match_pattern=1。
例如:
## 清空规则以及规则的统计数据 delete from mysql_query_rules; select * from stats_mysql_query_digest_reset where 1=0; insert into mysql_query_rules(rule_id,active,match_pattern,destination_hostgroup,apply) values(1,1,"^select .* test2.*",20,1),(2,1,"^select .* test1.*",10,1); load mysql query rules to runtime; save mysql query rules to disk;
执行查询:
mysql -uroot -pP@ssword1! -h127.0.0.1 -P6033 -e "select * from test1.t1;" mysql -uroot -pP@ssword1! -h127.0.0.1 -P6033 -e "select * from test2.t1;"
然后查看匹配结果:
admin> select * from stats_mysql_query_rules; +---------+------+ | rule_id | hits | +---------+------+ | 1 | 1 | | 2 | 1 | +---------+------+ admin> select hostgroup hg,count_star cs,digest,digest_text dt from stats_mysql_query_digest; +----+----+--------------------+------------------------+ | hg | cs | digest | dt | +----+----+--------------------+------------------------+ | 20 | 1 | 0xADB885E1F3A7A5C2 | select * from test2.t1 | | 10 | 1 | 0x57497F236587B138 | select * from test1.t1 | +----+----+--------------------+------------------------+
再来看看匹配参数值(虽然几乎不会这样做)。这里要测试的语句如下:
mysql -uroot -p123456 -h127.0.0.1 -P6033 -e "select * from test1.t1 where name like 'malong%';" mysql -uroot -p123456 -h127.0.0.1 -P6033 -e "select * from test2.t1 where name like 'xiaofang%';"
现在插入两条规则,对参数"malong%"和"xiaofang"进行匹配。
## 清空规则以及规则的统计数据 delete from mysql_query_rules; select * from stats_mysql_query_digest_reset where 1=0; insert into mysql_query_rules(rule_id,active,match_pattern,destination_hostgroup,apply) values(1,1,"malong",20,1),(2,1,"xiaofang",10,1); load mysql query rules to runtime; save mysql query rules to disk;
执行上面的两个查询语句,然后查看匹配结果:
admin> select * from stats_mysql_query_rules; +---------+------+ | rule_id | hits | +---------+------+ | 1 | 1 | | 2 | 1 | +---------+------+ admin> select hostgroup hg,count_star cs,digest,digest_text dt from stats_mysql_query_digest; +----+----+--------------------+------------------------------------------+ | hg | cs | digest | dt | +----+----+--------------------+------------------------------------------+ | 20 | 1 | 0x0C624EDC186F0217 | select * from test1.t1 where name like ? | | 10 | 1 | 0xA38442E236D915A7 | select * from test2.t1 where name like ? | +----+----+--------------------+------------------------------------------+
已按预期进行路由。
一个极简单却大有用处的读、写分离功能:将默认路由组设置为写组,然后再插入下面两个select语句的规则。
# 10为写组,20为读组 insert into mysql_query_rules(rule_id,active,match_digest,destination_hostgroup,apply) VALUES (1,1,'^SELECT.*FOR UPDATE$',10,1), (2,1,'^SELECT',20,1);
但需要注意的是,这样的规则只适用于小环境下的读写分离,对于稍复杂的环境,需要对不同语句进行开销分析,对于开销大的语句需要制定专门的路由规则。在之后的文章中我会稍作分析。
ProxySQL能通过ip、port、client_ip、username、schemaname、digest、match_digest、match_pattern实现不同方式的路由,方式可谓繁多。特别是基于正则匹配的灵活性,使得ProxySQL能满足一些比较复杂的环境。
总的来说,ProxySQL主要是通过digest、match_digest和match_pattern进行规则匹配的。在本文中,只是介绍了匹配规则的基础以及简单的用法,为进军后面的文章做好铺垫。
保留注释进行匹配
用mysql命令行客户端,要加上"-c"选项(应该是这个,具体的你可以查一下),才能保留注释
-c, --comments Preserve comments. Send comments to the server. The
default is --skip-comments (discard comments), enable
with --comments.