![[Redis小技巧28]深入Redis集群机制：Redis Cluster 6 节点集群从搭建到内核原理解析](images/news1.jpg)
一、环境准备与搭建Docker 6 节点集群实录1. 核心设计思路为了模拟真实的分布式环境将在一台物理机或虚拟机上通过 Docker 容器模拟 6 个独立节点3 主 3 从。网络模式推荐使用host模式Linux 环境以简化网络配置并减少性能损耗若需跨平台兼容可使用自定义bridge网络并手动映射端口。这里采用自定义 Bridge 网络方案更具通用性。节点规划主节点 (Masters): 7000, 7001, 7002从节点 (Slaves): 7003, 7004, 7005关键配置开启cluster-enabled关闭protected-mode便于容器间通信设置持久化策略。2. 详细搭建步骤核心网络策略无论单机还是多机Redis 集群节点必须能够被外部客户端如你的电脑、应用程序服务器访问。因此我们将统一配置所有节点使其宣告宿主机的 IP 地址和映射后的端口。第一步规划与目录创建首先我们需要为 6 个节点规划好目录结构并创建网络环境。获取宿主机 IP这是最关键的一步。在 Linux 环境下你可以使用以下命令自动获取# 获取默认路由网卡 IPHOST_IP$(iproute get1.1.1.1|awk{print $7; exit})echo宿主机 IP 为:$HOST_IP创建网络与目录将创建一个专用的 Docker 网络并为每个节点创建独立的配置和数据目录。# 创建专用网络dockernetwork create redis-net# 创建 6 个节点的目录结构 (端口 7000 - 7005)foriin700070017002700370047005;domkdir-predis-cluster/$i/{conf,data}done第二步生成配置文件Redis Cluster 的每个节点都需要一份独立的配置文件。使用循环来批量生成其中每个文件中的端口配置是唯一的。关键配置说明cluster-announce-ip: 告诉集群其他成员和客户端“请通过这个 IP 联系我”。cluster-announce-port: 告诉外界“请通过这个端口联系我”。cluster-announce-bus-port: 集群总线端口用于节点间通信固定为服务端口 10000。执行以下命令生成 6 份配置文件foriin700070017002700370047005;docatredis-cluster/$i/conf/redis.confEOF # 基础网络配置 # 当前 Redis 实例的服务端口 port$i# 监听所有网卡接口允许外部连接 bind 0.0.0.0 # 关闭保护模式。 # 注意生产环境若开启 protected-mode必须配置密码或 bind 指定 IP # 否则在公网暴露极其危险。这里为了演示方便设为 no。 protected-mode no ## 开启保护模式生产环境必须为 yes ##protected-mode yes ## 设置访问密码 ##requirepass REDIS_PASSWORD # 设置主从认证密码必须与 requirepass 一致否则从节点无法同步主节点数据 ##masterauth REDIS_PASSWORD # 集群核心配置 # 开启集群模式 cluster-enabled yes # 集群状态文件名。 # Redis 会自动维护此文件记录节点 ID、槽位映射等信息严禁手动修改 cluster-config-file nodes.conf # 节点超时时间毫秒。 # 若在此时间内未收到节点的心跳包则将其标记为 PFAIL可能故障。 # 5000ms 是生产环境常用值比默认的 15000ms 能更快触发故障转移。 cluster-node-timeout 5000 # 【核心修正】对外宣告的地址配置 # 告诉集群其他成员和客户端“请通过这个 IP 和端口联系我” # 在 Docker 环境下必须填写宿主机 IP否则外部无法连接 cluster-announce-ip$HOST_IPcluster-announce-port$i# 集群总线端口 服务端口 10000 # 用于节点间通信Gossip 协议、故障检测、配置更新等 cluster-announce-bus-port$((i10000))# 持久化配置 (AOF) # 开启 AOF 持久化 appendonly yes # AOF 文件名 appendfilename appendonly.aof # 数据目录 dir /data # AOF 刷盘策略每秒同步一次 # 这是性能与数据安全的最佳平衡点既保证了高性能又将数据丢失风险控制在 1 秒内 appendfsync everysec # 内存与性能调优 # 限制最大内存为 256MB # 容器环境必须设置此项防止 Redis 占用所有内存导致容器被 OOM Killer 杀死 maxmemory 256mb # 内存淘汰策略所有键中淘汰最近最少使用的键 # 适用于纯缓存场景当内存满时自动清理旧数据 maxmemory-policy allkeys-lru # 日志配置 # 日志级别notice # 生产环境建议使用 notice避免 verbose 或 debug 级别影响性能 loglevel notice # 日志输出位置空表示标准输出stdout # 在 Docker 中这样配置可以让我们通过 docker logs 查看日志 logfile EOFdone第三步启动 6 个 Redis 容器配置就绪后启动 6 个容器。每个容器都将映射其服务端口和总线端口并挂载对应的配置文件和数据目录。foriin700070017002700370047005;dodockerrun-d--nameredis-$i\--netredis-net\-p$i:$i\-p$((i10000)):$((i10000))\-v$(pwd)/redis-cluster/$i/conf/redis.conf:/usr/local/etc/redis/redis.conf\-v$(pwd)/redis-cluster/$i/data:/data\redis:latest\redis-server /usr/local/etc/redis/redis.confdone检查容器状态执行docker ps确认 6 个容器是否都已正常启动。第四步初始化集群所有节点启动后它们目前还是 6 个独立的个体。我们需要使用redis-cli的集群创建功能将它们组装成一个有机的整体。注意此命令需要在安装了redis-cli工具的机器上执行。如果宿主机没有安装可以进入任意一个 Redis 容器内执行。# 定义节点列表变量方便阅读NODES$HOST_IP:7000$HOST_IP:7001$HOST_IP:7002$HOST_IP:7003$HOST_IP:7004$HOST_IP:7005# 执行集群创建命令# --cluster-replicas 1 表示为每个主节点分配 1 个从节点redis-cli--clustercreate$NODES--cluster-replicas1--cluster-yes命令执行成功后会看到类似Nodes created successfully的提示。第五步验证集群状态最后来验证集群是否健康运行。# 连接到任意一个节点查看集群信息redis-cli-c-h$HOST_IP-p7000cluster info如果输出中包含cluster_state:ok一个高可用的 3 主 3 从 Redis Cluster 已经成功搭建。你也可以使用redis-cli -c -h $HOST_IP -p 7000 cluster nodes查看每个节点的角色、ID 和槽位分配情况。二、原理深度解析数据如何流动Redis Cluster 并非简单的代理转发而是采用了去中心化的架构。1. 哈希槽Hash Slots机制Redis Cluster 预定义了16384个哈希槽。计算公式SLOT CRC16(key) % 16384分配方式每个主节点负责一部分槽。例如Node A: 0 ~ 5460Node B: 5461 ~ 10922Node C: 10923 ~ 16383优势扩缩容时只需移动槽对应的数据无需全量迁移极大降低了风险。2. 请求路由流程当客户端发起请求时流程如下关键点MOVED 错误客户端收到此错误后会自动更新本地缓存的路由表并重定向请求到正确的节点。智能客户端如 Jedis, Lettuce会自动处理此逻辑。ASK 错误仅在槽迁移过程中出现指示客户端临时向目标节点请求不更新本地路由表。3. 高可用与 Gossip 协议集群节点间通过Gossip 协议进行通信交换节点状态、槽映射信息等。故障检测当主节点宕机其从节点在超时时间cluster-node-timeout未收到心跳会发起选举。故障转移超过半数的从节点投票通过后从节点晋升为主节点接管原主节点的槽。四、实战命令与应用场景1. 常用集群管理命令速查表命令类别命令示例说明集群信息CLUSTER INFO查看集群状态、节点数、故障情况节点列表CLUSTER NODES查看所有节点 ID、角色、槽分布及状态槽信息CLUSTER SLOTS查看槽范围与节点 IP 的映射关系重新分片redis-cli --cluster reshard ...在线迁移槽用于扩缩容故障修复redis-cli --cluster fix ...修复不一致的槽分配或节点状态备份元数据CLUSTER SAVECONFIG强制将当前配置保存到 nodes.conf2. 典型应用场景海量数据存储通过分片突破单机内存限制支持 TB 级数据。高并发读写读写压力分散到多个主节点线性提升吞吐量。分布式锁利用SETNX 过期时间结合 Redlock 算法需注意时钟漂移问题实现跨进程锁。会话共享 (Session Store)在微服务集群中共享用户登录状态确保任意网关均可处理请求。3. 生产环境避坑指南在将 Redis Cluster 推向生产前必须关注以下几点键的设计规范避免多键操作MGET,TRANSACTION等命令要求所有 Key 必须在同一个槽。若跨槽集群将报错。解决方案使用Hash Tag{user100}。例如{user100}.profile和{user100}.orders会被哈希到同一槽。网络规划集群内部通信总线端口 服务端口 10000必须畅通。若服务端口是 7000则 17000 也必须开放。建议使用内网高速网络延迟应控制在 1ms 以内。持久化策略推荐RDB AOF混合持久化。从节点通常不建议开启高频 AOF以免拖慢同步速度可在主节点做持久化从节点纯内存运行视数据重要性而定。监控告警重点监控cluster_state(是否为 ok),cluster_slots_assigned, 节点间延迟内存使用率。警惕脑裂 (Split-Brain)在网络分区时可能导致双主写入需合理设置min-slaves-to-write。五、精选面试题Q1: Redis Cluster 为什么是 16384 个槽而不是更多或更少答这是一个权衡的结果。心跳包大小节点间通过 Gossip 协议交换槽信息。若槽太多心跳包过大占用带宽若太少分片粒度不够细。计算效率16384 (2142^{14}214) 可以用 14 位二进制表示在传输协议中非常紧凑。实际场景绝大多数集群不需要超过几千个节点。16384 足以支撑数千个节点的规模且单个节点承载的槽数在常规规模下如 3-10 个主节点较为均衡。Q2: 客户端写入数据时如果目标节点正在迁移槽会发生什么解答这会触发ASK 重定向。客户端向旧主节点写入旧主发现槽正在迁出返回ASK slot target_node。客户端向目标节点发送ASKING命令标记本次会话允许写入该槽。客户端再次发送写入请求目标节点临时接收并写入。迁移完成后槽正式归属新节点后续请求直接通过MOVED或直接路由到达。这一机制保证了迁移过程中的数据不丢失和服务不中断。Q3: Redis Cluster 支持事务吗与单机有何不同解答支持但有严格限制。限制多键事务MULTI/EXEC中的所有 Key 必须位于同一个哈希槽。否则集群会报错CROSSSLOT Keys in request dont hash to the same slot。对策必须使用 Hash Tag{tag}强制相关 Key 落入同一槽。对于跨槽的复杂业务逻辑建议在应用层通过补偿机制或最终一致性方案解决而非强依赖数据库事务。
[Redis小技巧28]深入Redis集群机制：Redis Cluster 6 节点集群从搭建到内核原理解析
一、环境准备与搭建Docker 6 节点集群实录1. 核心设计思路为了模拟真实的分布式环境将在一台物理机或虚拟机上通过 Docker 容器模拟 6 个独立节点3 主 3 从。网络模式推荐使用host模式Linux 环境以简化网络配置并减少性能损耗若需跨平台兼容可使用自定义bridge网络并手动映射端口。这里采用自定义 Bridge 网络方案更具通用性。节点规划主节点 (Masters): 7000, 7001, 7002从节点 (Slaves): 7003, 7004, 7005关键配置开启cluster-enabled关闭protected-mode便于容器间通信设置持久化策略。2. 详细搭建步骤核心网络策略无论单机还是多机Redis 集群节点必须能够被外部客户端如你的电脑、应用程序服务器访问。因此我们将统一配置所有节点使其宣告宿主机的 IP 地址和映射后的端口。第一步规划与目录创建首先我们需要为 6 个节点规划好目录结构并创建网络环境。获取宿主机 IP这是最关键的一步。在 Linux 环境下你可以使用以下命令自动获取# 获取默认路由网卡 IPHOST_IP$(iproute get1.1.1.1|awk{print $7; exit})echo宿主机 IP 为:$HOST_IP创建网络与目录将创建一个专用的 Docker 网络并为每个节点创建独立的配置和数据目录。# 创建专用网络dockernetwork create redis-net# 创建 6 个节点的目录结构 (端口 7000 - 7005)foriin700070017002700370047005;domkdir-predis-cluster/$i/{conf,data}done第二步生成配置文件Redis Cluster 的每个节点都需要一份独立的配置文件。使用循环来批量生成其中每个文件中的端口配置是唯一的。关键配置说明cluster-announce-ip: 告诉集群其他成员和客户端“请通过这个 IP 联系我”。cluster-announce-port: 告诉外界“请通过这个端口联系我”。cluster-announce-bus-port: 集群总线端口用于节点间通信固定为服务端口 10000。执行以下命令生成 6 份配置文件foriin700070017002700370047005;docatredis-cluster/$i/conf/redis.confEOF # 基础网络配置 # 当前 Redis 实例的服务端口 port$i# 监听所有网卡接口允许外部连接 bind 0.0.0.0 # 关闭保护模式。 # 注意生产环境若开启 protected-mode必须配置密码或 bind 指定 IP # 否则在公网暴露极其危险。这里为了演示方便设为 no。 protected-mode no ## 开启保护模式生产环境必须为 yes ##protected-mode yes ## 设置访问密码 ##requirepass REDIS_PASSWORD # 设置主从认证密码必须与 requirepass 一致否则从节点无法同步主节点数据 ##masterauth REDIS_PASSWORD # 集群核心配置 # 开启集群模式 cluster-enabled yes # 集群状态文件名。 # Redis 会自动维护此文件记录节点 ID、槽位映射等信息严禁手动修改 cluster-config-file nodes.conf # 节点超时时间毫秒。 # 若在此时间内未收到节点的心跳包则将其标记为 PFAIL可能故障。 # 5000ms 是生产环境常用值比默认的 15000ms 能更快触发故障转移。 cluster-node-timeout 5000 # 【核心修正】对外宣告的地址配置 # 告诉集群其他成员和客户端“请通过这个 IP 和端口联系我” # 在 Docker 环境下必须填写宿主机 IP否则外部无法连接 cluster-announce-ip$HOST_IPcluster-announce-port$i# 集群总线端口 服务端口 10000 # 用于节点间通信Gossip 协议、故障检测、配置更新等 cluster-announce-bus-port$((i10000))# 持久化配置 (AOF) # 开启 AOF 持久化 appendonly yes # AOF 文件名 appendfilename appendonly.aof # 数据目录 dir /data # AOF 刷盘策略每秒同步一次 # 这是性能与数据安全的最佳平衡点既保证了高性能又将数据丢失风险控制在 1 秒内 appendfsync everysec # 内存与性能调优 # 限制最大内存为 256MB # 容器环境必须设置此项防止 Redis 占用所有内存导致容器被 OOM Killer 杀死 maxmemory 256mb # 内存淘汰策略所有键中淘汰最近最少使用的键 # 适用于纯缓存场景当内存满时自动清理旧数据 maxmemory-policy allkeys-lru # 日志配置 # 日志级别notice # 生产环境建议使用 notice避免 verbose 或 debug 级别影响性能 loglevel notice # 日志输出位置空表示标准输出stdout # 在 Docker 中这样配置可以让我们通过 docker logs 查看日志 logfile EOFdone第三步启动 6 个 Redis 容器配置就绪后启动 6 个容器。每个容器都将映射其服务端口和总线端口并挂载对应的配置文件和数据目录。foriin700070017002700370047005;dodockerrun-d--nameredis-$i\--netredis-net\-p$i:$i\-p$((i10000)):$((i10000))\-v$(pwd)/redis-cluster/$i/conf/redis.conf:/usr/local/etc/redis/redis.conf\-v$(pwd)/redis-cluster/$i/data:/data\redis:latest\redis-server /usr/local/etc/redis/redis.confdone检查容器状态执行docker ps确认 6 个容器是否都已正常启动。第四步初始化集群所有节点启动后它们目前还是 6 个独立的个体。我们需要使用redis-cli的集群创建功能将它们组装成一个有机的整体。注意此命令需要在安装了redis-cli工具的机器上执行。如果宿主机没有安装可以进入任意一个 Redis 容器内执行。# 定义节点列表变量方便阅读NODES$HOST_IP:7000$HOST_IP:7001$HOST_IP:7002$HOST_IP:7003$HOST_IP:7004$HOST_IP:7005# 执行集群创建命令# --cluster-replicas 1 表示为每个主节点分配 1 个从节点redis-cli--clustercreate$NODES--cluster-replicas1--cluster-yes命令执行成功后会看到类似Nodes created successfully的提示。第五步验证集群状态最后来验证集群是否健康运行。# 连接到任意一个节点查看集群信息redis-cli-c-h$HOST_IP-p7000cluster info如果输出中包含cluster_state:ok一个高可用的 3 主 3 从 Redis Cluster 已经成功搭建。你也可以使用redis-cli -c -h $HOST_IP -p 7000 cluster nodes查看每个节点的角色、ID 和槽位分配情况。二、原理深度解析数据如何流动Redis Cluster 并非简单的代理转发而是采用了去中心化的架构。1. 哈希槽Hash Slots机制Redis Cluster 预定义了16384个哈希槽。计算公式SLOT CRC16(key) % 16384分配方式每个主节点负责一部分槽。例如Node A: 0 ~ 5460Node B: 5461 ~ 10922Node C: 10923 ~ 16383优势扩缩容时只需移动槽对应的数据无需全量迁移极大降低了风险。2. 请求路由流程当客户端发起请求时流程如下关键点MOVED 错误客户端收到此错误后会自动更新本地缓存的路由表并重定向请求到正确的节点。智能客户端如 Jedis, Lettuce会自动处理此逻辑。ASK 错误仅在槽迁移过程中出现指示客户端临时向目标节点请求不更新本地路由表。3. 高可用与 Gossip 协议集群节点间通过Gossip 协议进行通信交换节点状态、槽映射信息等。故障检测当主节点宕机其从节点在超时时间cluster-node-timeout未收到心跳会发起选举。故障转移超过半数的从节点投票通过后从节点晋升为主节点接管原主节点的槽。四、实战命令与应用场景1. 常用集群管理命令速查表命令类别命令示例说明集群信息CLUSTER INFO查看集群状态、节点数、故障情况节点列表CLUSTER NODES查看所有节点 ID、角色、槽分布及状态槽信息CLUSTER SLOTS查看槽范围与节点 IP 的映射关系重新分片redis-cli --cluster reshard ...在线迁移槽用于扩缩容故障修复redis-cli --cluster fix ...修复不一致的槽分配或节点状态备份元数据CLUSTER SAVECONFIG强制将当前配置保存到 nodes.conf2. 典型应用场景海量数据存储通过分片突破单机内存限制支持 TB 级数据。高并发读写读写压力分散到多个主节点线性提升吞吐量。分布式锁利用SETNX 过期时间结合 Redlock 算法需注意时钟漂移问题实现跨进程锁。会话共享 (Session Store)在微服务集群中共享用户登录状态确保任意网关均可处理请求。3. 生产环境避坑指南在将 Redis Cluster 推向生产前必须关注以下几点键的设计规范避免多键操作MGET,TRANSACTION等命令要求所有 Key 必须在同一个槽。若跨槽集群将报错。解决方案使用Hash Tag{user100}。例如{user100}.profile和{user100}.orders会被哈希到同一槽。网络规划集群内部通信总线端口 服务端口 10000必须畅通。若服务端口是 7000则 17000 也必须开放。建议使用内网高速网络延迟应控制在 1ms 以内。持久化策略推荐RDB AOF混合持久化。从节点通常不建议开启高频 AOF以免拖慢同步速度可在主节点做持久化从节点纯内存运行视数据重要性而定。监控告警重点监控cluster_state(是否为 ok),cluster_slots_assigned, 节点间延迟内存使用率。警惕脑裂 (Split-Brain)在网络分区时可能导致双主写入需合理设置min-slaves-to-write。五、精选面试题Q1: Redis Cluster 为什么是 16384 个槽而不是更多或更少答这是一个权衡的结果。心跳包大小节点间通过 Gossip 协议交换槽信息。若槽太多心跳包过大占用带宽若太少分片粒度不够细。计算效率16384 (2142^{14}214) 可以用 14 位二进制表示在传输协议中非常紧凑。实际场景绝大多数集群不需要超过几千个节点。16384 足以支撑数千个节点的规模且单个节点承载的槽数在常规规模下如 3-10 个主节点较为均衡。Q2: 客户端写入数据时如果目标节点正在迁移槽会发生什么解答这会触发ASK 重定向。客户端向旧主节点写入旧主发现槽正在迁出返回ASK slot target_node。客户端向目标节点发送ASKING命令标记本次会话允许写入该槽。客户端再次发送写入请求目标节点临时接收并写入。迁移完成后槽正式归属新节点后续请求直接通过MOVED或直接路由到达。这一机制保证了迁移过程中的数据不丢失和服务不中断。Q3: Redis Cluster 支持事务吗与单机有何不同解答支持但有严格限制。限制多键事务MULTI/EXEC中的所有 Key 必须位于同一个哈希槽。否则集群会报错CROSSSLOT Keys in request dont hash to the same slot。对策必须使用 Hash Tag{tag}强制相关 Key 落入同一槽。对于跨槽的复杂业务逻辑建议在应用层通过补偿机制或最终一致性方案解决而非强依赖数据库事务。
