# 手动搭建Redis集群和MySQL主从同步(非Docker) ## 什么是Redis集群 - ### 简介 Redis是一个快速高效的NoSQL型数据库，由于其基于内存存储、单线程、多路IO复用的特性，其QPS可以达到惊人的100000+（官方数据），但是即使有这么高的速度，在中国这么大的网民基数环境下，也存在着性能瓶颈。首先抛开服务器故障不谈，Redis集群首先可以使Redis性能得到线性提高，这是毋庸置疑的，其次Redis集群除了解决了效率问题，还可以解决服务器宕机造成的数据丢失问题，当某个Redis节点宕机，剩下的节点会继续工作，并不会影响整体集群的使用，从而实现**高可用**。 - ### Redis单机模式有什么问题 - #### 单机故障 在单机模式下的Redis，我们的应用中所有需要缓存的数据都依赖一台Redis服务器，应用的流量小可能看不出什么问题，但是随着应用越来越大，流量越来越大，如果出现服务器宕机或者断电的状况，那么我们的应用整个一个缓存层在一段时间内（重启）都将不复存在，先不谈基于Redis的分布式Session可能造成的问题，如果恰好遇上流量高峰，这些流量直接打在数据库上，我们知道数据库的IO效率远不及Redis，这将大大提高应用负载，容易出现数据库服务器的宕机，从而造成应用的宕机。由此看来，单机版Redis如果出现故障，将有可能引起一系列的连锁反应，造成不可逆的损失。 - #### 容量瓶颈 我们知道Redis是基于内存存储的一个NoSQL数据库，基于内存也是其**高速高效**的原因之一。虽然容量瓶颈在实际生产中并不常见（通常有意识地将搭载Redis的机器内存容量加高），但是不排除在某些极端条件下Redis会将一台机器的内存耗尽，造成数据丢失，甚至服务器宕机。 - #### 性能瓶颈 简介中提到，虽然Redis在官方文档中提到可以达到约100000+QPS，但是**首先**在日常环境的测试中，我们可能并达不到文档中宣称的QPS，换言之，这可能也就是一种理论值，就像是4G的理论网速在10-100Mbps，折合下载速度1.5M/s-10M/s，但在日常生活中我们极少甚至从来没有达到过这个速度过，一样的道理。**其次**，在中国巨大的网民基数下，单机Redis满足日常需求尚且捉襟见肘，如果碰上像双十一、双十二、春运这些特殊的环境，单台Redis显然会有性能不足的现象发生。 - ### Redis集群的三种模式 - #### 主从模式 主从模式是最简单的一种Redis集群模式，首先其思想就是一台Redis服务器作为**主服务器（Master）**，一台或多台服务器作为**从服务器（Slave）**。当以此种方式部署集群时，集群有如下特点： 1. Master可以进行读写操作，当写操作导致数据发生变化时，将自动同步给Slave，Slave通常是只读的，并且接受从Master同步过来的数据。 2. **一台Master可以有多台Slave，但每台Slave只能有一个Master**。 3. 某台Slave宕机不影响其他Slave和Master的读写，重新启动后会将数据重新从Master同步过来。 4. **Master宕机后不影响Slave的读，但该集群不再提供对Redis的写入功能**。 5. Master宕机后不会从Slave中选举主节点。 在此种模式下，我们可以对Redis集群做**容灾备份**和**读写分离**，但是要注意，容灾备份并不能拯救你的误操作，因为无论增删改，Redis都将其作为写，同步到每个Slave节点上，所以**容灾**，是指不可预知的错误导致数据丢失，这种情况下可以从Slave节点中找到原数据的备份，从而进行数据恢复。而读写分离就比较好理解了，上文中提到，Master节点可以读写，而Slave节点通常只进行读操作，索性直接将所有的读操作都转移到Slave节点上，这样可以减轻Master节点的IO压力。  [手动搭建Redis集群和MySQL主从同步(非Docker)](http://blog.objectspace.cn/2019/11/08/%E6%89%8B%E5%8A%A8%E6%90%AD%E5%BB%BARedis%E9%9B%86%E7%BE%A4%E5%92%8CMySQL%E4%B8%BB%E4%BB%8E%E5%90%8C%E6%AD%A5(%E9%9D%9EDocker)/#) # 手动搭建Redis集群和MySQL主从同步(非Docker) \[Redis\](javascript:void(0);)\[MySQL\](javascript:void(0);)\[主从同步\](javascript:void(0);)\[集群\](javascript:void(0);)\[分布式\](javascript:void(0);)\[高可用\](javascript:void(0);) 字数统计:6.9k阅读时长:25 min 2019/11/08211分享 -  ## 前言 一直都想自己动手搭建一个Redis集群和MySQL的主从同步，当然不是依靠Docker的一键部署（虽然现在企业开发用的最多的是这种方式），所以本文就算是一个教程类文章吧，但在动手搭建之前，会先聊聊理论的东西，以便于大家有一个**集群**和**主从同步**的概念，如果有同学不了解Redis和MySQL，可以看一下我之前的两篇文章。 [Redis由浅入深深深深深剖析](http://blog.objectspace.cn/2019/09/16/Redis%E7%94%B1%E6%B5%85%E5%85%A5%E6%B7%B1%E6%B7%B1%E6%B7%B1%E6%B7%B1%E6%B7%B1%E5%89%96%E6%9E%90/) [【从入门到入土】令人脱发的数据库底层设计](http://blog.objectspace.cn/2019/09/04/%5B%E4%BB%8E%E5%85%A5%E9%97%A8%E5%88%B0%E5%85%A5%E5%9C%9F%5D%E4%BB%A4%E4%BA%BA%E8%84%B1%E5%8F%91%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93%E5%BA%95%E5%B1%82%E8%AE%BE%E8%AE%A1/) ## 什么是Redis集群 - ### 简介 Redis是一个快速高效的NoSQL型数据库，由于其基于内存存储、单线程、多路IO复用的特性，其QPS可以达到惊人的100000+（官方数据），但是即使有这么高的速度，在中国这么大的网民基数环境下，也存在着性能瓶颈。首先抛开服务器故障不谈，Redis集群首先可以使Redis性能得到线性提高，这是毋庸置疑的，其次Redis集群除了解决了效率问题，还可以解决服务器宕机造成的数据丢失问题，当某个Redis节点宕机，剩下的节点会继续工作，并不会影响整体集群的使用，从而实现**高可用**。 - ### Redis单机模式有什么问题 - #### 单机故障 在单机模式下的Redis，我们的应用中所有需要缓存的数据都依赖一台Redis服务器，应用的流量小可能看不出什么问题，但是随着应用越来越大，流量越来越大，如果出现服务器宕机或者断电的状况，那么我们的应用整个一个缓存层在一段时间内（重启）都将不复存在，先不谈基于Redis的分布式Session可能造成的问题，如果恰好遇上流量高峰，这些流量直接打在数据库上，我们知道数据库的IO效率远不及Redis，这将大大提高应用负载，容易出现数据库服务器的宕机，从而造成应用的宕机。由此看来，单机版Redis如果出现故障，将有可能引起一系列的连锁反应，造成不可逆的损失。 - #### 容量瓶颈 我们知道Redis是基于内存存储的一个NoSQL数据库，基于内存也是其**高速高效**的原因之一。虽然容量瓶颈在实际生产中并不常见（通常有意识地将搭载Redis的机器内存容量加高），但是不排除在某些极端条件下Redis会将一台机器的内存耗尽，造成数据丢失，甚至服务器宕机。 - #### 性能瓶颈 简介中提到，虽然Redis在官方文档中提到可以达到约100000+QPS，但是**首先**在日常环境的测试中，我们可能并达不到文档中宣称的QPS，换言之，这可能也就是一种理论值，就像是4G的理论网速在10-100Mbps，折合下载速度1.5M/s-10M/s，但在日常生活中我们极少甚至从来没有达到过这个速度过，一样的道理。**其次**，在中国巨大的网民基数下，单机Redis满足日常需求尚且捉襟见肘，如果碰上像双十一、双十二、春运这些特殊的环境，单台Redis显然会有性能不足的现象发生。 - ### Redis集群的三种模式 - #### 主从模式 主从模式是最简单的一种Redis集群模式，首先其思想就是一台Redis服务器作为**主服务器（Master）**，一台或多台服务器作为**从服务器（Slave）**。当以此种方式部署集群时，集群有如下特点： 1. Master可以进行读写操作，当写操作导致数据发生变化时，将自动同步给Slave，Slave通常是只读的，并且接受从Master同步过来的数据。 2. **一台Master可以有多台Slave，但每台Slave只能有一个Master**。 3. 某台Slave宕机不影响其他Slave和Master的读写，重新启动后会将数据重新从Master同步过来。 4. **Master宕机后不影响Slave的读，但该集群不再提供对Redis的写入功能**。 5. Master宕机后不会从Slave中选举主节点。 在此种模式下，我们可以对Redis集群做**容灾备份**和**读写分离**，但是要注意，容灾备份并不能拯救你的误操作，因为无论增删改，Redis都将其作为写，同步到每个Slave节点上，所以**容灾**，是指不可预知的错误导致数据丢失，这种情况下可以从Slave节点中找到原数据的备份，从而进行数据恢复。而读写分离就比较好理解了，上文中提到，Master节点可以读写，而Slave节点通常只进行读操作，索性直接将所有的读操作都转移到Slave节点上，这样可以减轻Master节点的IO压力。 **主从模式的工作原理（全量同步）**: Redis**全量同步**一般**发生在Slave初始化阶段**，但其实在任何时候Slave都可以向Master发起全量同步的请求，这时Slave需要将Master上的所有数据都复制一份。 1. Slave连接主服务器，发送SYNC命令。 2. Master接收到SYNC命令后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令。 3. Master执行完BGSAVE后，向所有从服务器发送RDB文件，并在发送期间继续记录被执行的写命令。 4. Slave收到RDB文件后丢弃所有旧数据，载入收到的RDB。 5. Master快照发送完毕后开始向Slave发送缓冲区中的写命令。 6. Slave完成对RDB的载入，开始接收命令请求，并执行来自Master缓冲区的写命令。 **主从模式的工作原理（增量同步）**: Redis**增量同步**一般发生在**Slave已经初始化完成，开始正常连接Master的阶段** 1. Master接收到写请求，将写命令发送到Slave。 2. Slave执行接收到的些命令。 **注**：如果多个Slave同时宕机重启，那么就会同时向Master发送SYNC命令，那么有可能会造成Master节点的IO剧增，有可能会引起宕机。 - #### 哨兵（Sentinel）模式 上文中介绍了Redis主从复制模式下的集群策略，**当Master宕机后，不会从Slave节点中选举出Master**，所以该集群丧失了写的能力，我们只能人工去将Slave节点晋升为Master节点，同时要通知应用方更新Master节点的IP地址，对于这种故障处理的方式在现在的环境下通常是不可接受的。所以从Redis2.8开始，Redis正式提供了哨兵模式的架构（故障转移），来解决这个问题。 **哨兵模式的工作特点**： 1. 哨兵模式是建立在主从模式的基础上，当Master节点宕机之后，哨兵会从Slave节点中选择一个节点作为Master，并修改它们的配置文件，使其他的Slave指向新的Master。 2. 当原先宕机的Master节点重新启动时，他将不再是Master，而是作为新Master的一个Slave节点存在。 3. 哨兵节点是一个特殊的Redis节点（不存储数据），本质上也是一个进程，所以也有挂掉的可能，所以哨兵也存在集群模式。 **哨兵模式工作原理**： 1. 每隔10秒，每个哨兵节点会向Master和Slave节点发送info命令获取最新的拓扑结构。 2. 每隔1秒，每个哨兵节点会向Master和Slave节点还有其它哨兵节点发送ping命令做心跳检测，看看是否存在不可达的节点。 3. **主观下线**，如果某个哨兵向一个节点发出的心跳检测没有得到响应，那么该哨兵认为该节点已经下线。 4. **客观下线**，当哨兵主观下线的节点是主节点时，哨兵会向其他的哨兵询问对主节点的判断，当下线判断超过一定个数时，那么哨兵会认为主节点确实已经下线，那么会对主节点进行客观下线的判定。 5. **故障转移**，当Master节点客观下线时，哨兵会从Slave节点中选择一个节点作为Master节点，选择规则是**选择与主节点复制相似度最高的节点**，选择完成后会将其余的Slave节点指向新的Master节点，并监控原来的Master节点，当它回复后作为新Master节点的Slave存在，并且同步新Master节点的数据。 6. **选举领导者哨兵节点**：当主节点被判断客观下线以后，各个哨兵节点会进行协商，选举出一个领导者哨兵节点，并由该领导者节点对其进行故障转移操作。 7. 当使用sentinel模式的时候，客户端不用直接连接Redis，而是连接哨兵的ip和port，由哨兵来提供具体的可提供服务的Redis实现，这样当master节点挂掉以后，哨兵就会感知并将新的master节点提供给使用者。  #### Cluster模式 在上文的哨兵模式中，哨兵引入了主节点的自动故障转移，进一步提高了Redis的高可用性。但是哨兵的**缺陷**同样很明显：哨兵无法对Slave进行自动故障转移，在读写分离场景下，Slave故障会导致读服务不可用，需要我们对Slave做额外的监控、切换操作。此外，哨兵仍然没有解决写操作无法负载均衡、及存储能力受到单机限制的问题。 Redis Cluster模式是Redis3.0之后推荐的一种解决方案，其是由多个主节点群组成的分布式服务器群，它具有复制、高可用和分片的特性。另外，Redis Cluster集群不需要哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置为集群模式，这种集群模式没有中心节点，可水平扩展，且集群配置非常简单。 **Cluster集群模式工作特点**： 1. 多个Redis节点互联，数据共享。 2. 所有的节点都是主从模式，其中Slave不提供服务，只提供备用。 3. 不支持同时处理多个Key，因为需要分发到多个节点上。 4. 支持在线增加、删除节点。 5. 客户端可以连接任何一个Master节点进行读写。 **Cluster集群模式工作原理**： 1. Redis Cluster有固定的16384个hash slot(**槽**)，对每个key计算CRC16值，然后对16384取模，可以获取key对应的hash slot。每个master都会持有部分slot，比如有3个master，那么可能每个master持有5000多个hash slot，在redis cluster写入数据的时候，其实是你可以将请求发送到任意一个master上去执行。但是，每个master都会计算这个key对应的CRC16值，然后对16384个hashslot取模，找到key对应的hashslot，找到hashslot对应的master。 2. **主观下线**(pfail)：集群中的每个节点都会定期向其他节点发送ping消息，如果在一段时间内一直通信失败，则发送节点方认为接收节点存在故障，把接收节点标为主观下线(pfail)状态。 3. **客观下线**(fail)：当某个节点判断另一个节点主观下线后，相应的节点状态就会在集群中进行传播，如果集群中所有节点都将它标为主观下线，那么该节点为客观下线，并通知该节点的Slave进行**故障转移**操作。 4. **故障转移**：在某个节点客观下线后，该节点的从节点开始故障转移流程，首先进行资格检查，每个从节点检查与主节点的断开时间，超过一定时间的取消选举资格，然后同样在所有从节点中寻找复制偏移量最大的节点先开始进行选举，**只有持有槽的主节点才有投票权**，当从节点收集到过半的票数时，即晋升为Master，随即通知Slave当前Master变为自己。