[TOC] > [github](https://github.com/flike/kingshard/blob/master/doc/KingDoc/how_to_use_kingshard.md) ## 概述 为了解决一下痛点,在调用层与数据库层添加中间层,可方便实现对一下功能的实现 1. 读写分离问题。由于前端应用访问量增加,单台MySQL不足以支撑整个系统的写入和查询操作。这时候,我们不得不将一些耗时的查询操作分散到多个slave上。 2. 单表容量问题。如果在系统设计之初,没有考虑到分表问题。随着数据量的增长,单表容量越来越大。作者见过单表容量5亿条记录,然后一个简单的delete操作都会引起系统慢日志,而且有可能导致MySQL IO瞬发性的飙升。很多同学可能会想到,在查询的字段上加上索引,但当数据量增长到这么大的时候,即使加上索引效果也不明显了。归根结底,就是单表数据量太大,导致MySQL即使通过索引定位数据,仍然需要扫描很多记录。 3. 数据库的运维问题。如果在代码中配置主库和从库host,系统运行当然也是没问题的。但这样大大增加了运维工作的压力,比如:MySQL数据库IO压力由于访问量的增加居高不下,DBA需要添加一台slave,这时候就不得不修改代码,然后打包并上线。还有很多非常实际的例子,在这就不一一列举。 4. 连接池。前端应用频繁连接MySQL,由此给MySQL带来的额外性能消耗也是不容忽视的。如果通过增加一个连接池,每个DB缓存一定数量的MySQL连接,当有应用需要连接后端的MySQL,直接从连接池里取出一个已建好的连接来发送SQL请求,这样会大大加快数据查询速度。而且可以降低MySQL的性能消耗。 5. SQL日志。在程序出现问题时,我们希望得到一些SQL日志,比如,什么时刻哪条SQL发送到哪一台DB上了。通过查看这种日志能够帮助我们快速定位问题。 ## 教程 ### 设置配置文件 <details> <summary>ks.yaml</summary> ``` # kingshard的地址和端口 addr : 0.0.0.0:9696 # 连接kingshard的用户名和密码的用户列表 -user_list: - user : kingshard password : kingshard #kingshard的web API 端口 web_addr : 0.0.0.0:9797 #调用API的用户名和密码 web_user : admin web_password : admin # log级别,[debug|info|warn|error],默认是error log_level : debug # 打开SQL日志,设置为on;关闭SQL日志,设置为off log_sql : on #如果设置了该项,则只输出SQL执行时间超过slow_log_time(ms)的SQL日志,不设置则输出全部SQL日志 slow_log_time : 100 #日志文件路径,如果不配置则会输出到终端。 log_path : /Users/flike/log # sql黑名单文件路径 # 所有在该文件中的sql都会被kingshard拒绝转发 #blacklist_sql_file: /Users/flike/blacklist # 只允许下面的IP列表连接kingshard,如果不配置则对连接kingshard的IP不做限制。 allow_ips: 127.0.0.1 # kingshard使用的字符集,如果不设置该选项,则kingshard使用utf8作为默认字符集 #proxy_charset: utf8mb4 # 一个node节点表示mysql集群的一个数据分片,包括一主多从(可以不配置从库) nodes : - #node节点名字 name : node1 # 连接池中最大的空闲连接数,也就是kingshard最多与后端DB建立max_conns_limit个连接 max_conns_limit : 16 # kingshard连接该node中mysql的用户名和密码,master和slave的用户名和密码必须一致 user : kingshard password : kingshard # master的地址和端口 master : 127.0.0.1:3306 # slave的地址和端口,可不配置 #slave : 192.168.0.12@2,192.168.0.13@3 #kingshard在300秒内都连接不上mysql,kingshard则会下线该mysql down_after_noalive : 300 - name : node2 max_conns_limit : 16 user : kingshard password : kingshard master : 192.168.59.103:3307 slave : down_after_noalive: 100 # 各用户的分表规则 schema_list : - #schema的所属用户名 user: kingshard #分表分布的node名字 nodes: [node1,node2] #所有未分表的SQL,都会发往默认node。 default: node1 shard: - #分表使用的db db : kingshard #分表名字 table: test_shard_hash #分表字段 key: id #分表分布的node nodes: [node1, node2] #分表类型 type: hash #子表个数分布,表示node1有4个子表, #node2有4个子表。 locations: [4,4] - #分表使用的db db : kingshard #分表名字 table: test_shard_range #分表字段 key: id #分表类型 type: range #分表分布的node nodes: [node1, node2] #子表个数分布,表示node1有4个子表, #node2有4个子表。 locations: [4,4] #表示每个子表包含的最大记录数,也就是说每 #个子表最多包好10000条记录。即子表1对应的id为[0,10000),子表2[10000,20000).... table_row_limit: 10000 ``` </details> <br /> 1. kingshard支持两种类型的分表规则:hash和range。 2. kingshard分表涉及到的子表,需要用户在各个db手动创建好,并且格式是:`table_name_%4d`,也就是说子表下标由4位数组成。例如:`table_name_0000,table_name_0102`。 3. 所有操作未分表的SQL语句都将发送到默认节点。 ### 安装和启动kingshard ``` git clone https://github.com/flike/kingshard.git src/github.com/flike/kingshard cd src/github.com/flike/kingshard source ./dev.sh make 设置配置文件 运行kingshard。./bin/kingshard -config=etc/ks.yaml ``` 注意:kingshard会响应SIGINT,SIGTERM,SIGQUIT这三个信号,平滑退出。在部署kingshard机器上应避免产生这三个信号,以免造成kingshard非正常退出!后台运行kingshard建议使用supervisor工具