摘要：本文將講解如何基于搭建集群，的集群設(shè)計(jì)包括兩個(gè)部分主從復(fù)制和哈希。對(duì)象保存到之前先經(jīng)過哈希到一個(gè)指定的上，例如圖中最終到了上。至此，集群基本安裝成功。返回個(gè)槽中的鍵常見問題把所有的物理節(jié)點(diǎn)映射到個(gè)哈希槽上，負(fù)責(zé)維護(hù)。

Redis作為當(dāng)前非常熱門的內(nèi)存型數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)，可用于數(shù)據(jù)存儲(chǔ)，緩存和消息代理等。本文將講解如何基于docker搭建Redis集群，Redis的集群設(shè)計(jì)包括兩個(gè)部分：主從復(fù)制和哈希Slot。

主從復(fù)制在數(shù)據(jù)庫中很常見，一般用來做讀寫分離，Redis中也是如此。要求只有1個(gè)Master（主節(jié)點(diǎn)），可以有N個(gè)slaver（從節(jié)點(diǎn)），而且Slaver也可以有自己的Slaver，由于這種主從的關(guān)系決定他們是在配置階段就要指定他們的上下級(jí)關(guān)系，而不是Zookeeper那種平行關(guān)系是自主推優(yōu)出來的。

讀寫分離，Master只負(fù)責(zé)寫和同步數(shù)據(jù)給Slaver，Slaver承擔(dān)了被讀的任務(wù)，所以Slaver的擴(kuò)容只能提高讀效率不能提高寫效率。

Slaver先將Master那邊獲取到的信息壓入磁盤，再load進(jìn)內(nèi)存，client端是從內(nèi)存中讀取信息的。當(dāng)一個(gè)新的Slaver加入到這個(gè)集群時(shí)，會(huì)主動(dòng)找Master來拜碼頭，Master發(fā)現(xiàn)新的小弟后將全量數(shù)據(jù)發(fā)送給新的Slaver，數(shù)據(jù)量越大性能消耗也就越大，所以盡量避免在運(yùn)行時(shí)做Slaver的擴(kuò)容。

優(yōu)點(diǎn)：讀寫分離，通過增加Slaver可以提高并發(fā)讀的能力。

缺點(diǎn)：Master寫能力是瓶頸，維護(hù)Slaver開銷也總將會(huì)變成瓶頸。

哈希Slot名字上可能不好理解，其實(shí)就是數(shù)據(jù)庫中的“水平劃分”。如果你之前有了解過數(shù)據(jù)庫的表分區(qū)的話，就會(huì)發(fā)現(xiàn)下來對(duì)于哈希Slot的描述，就和數(shù)據(jù)庫表分區(qū)里面的“HASH分區(qū)”原理上大致相同。

對(duì)象保存到Redis之前先經(jīng)過CRC16哈希到一個(gè)指定的Node上，例如圖中Object4最終Hash到了Node1上。

?每個(gè)Node被平均分配了一個(gè)Slot段，對(duì)應(yīng)著0-16384，Slot不能重復(fù)也不能缺失，否則會(huì)導(dǎo)致對(duì)象重復(fù)存儲(chǔ)或無法存儲(chǔ)。

?Node之間也互相監(jiān)聽，一旦有Node退出或者加入，會(huì)按照Slot為單位做數(shù)據(jù)的遷移。例如Node1如果掉線了，0-5640這些Slot將會(huì)平均分?jǐn)偟絅ode2和Node3上,由于Node2和Node3本身維護(hù)的Slot還會(huì)在自己身上不會(huì)被重新分配，所以遷移過程中不會(huì)影響到 5641-16384 Slot段的使用。

優(yōu)點(diǎn)：將Redis的寫操作分?jǐn)偟搅硕鄠€(gè)節(jié)點(diǎn)上，提高寫的并發(fā)能力，擴(kuò)容簡單。

缺點(diǎn)：每個(gè)Node承擔(dān)著互相監(jiān)聽、高并發(fā)數(shù)據(jù)寫入、高并發(fā)數(shù)據(jù)讀出，工作任務(wù)繁重。

看到這里大家也就發(fā)現(xiàn)了，主從和哈希的設(shè)計(jì)優(yōu)缺點(diǎn)正好是相互彌補(bǔ)的，將二者結(jié)合在一起，就是Redis集群的終極形態(tài)，先Hash分邏輯節(jié)點(diǎn)，然后每個(gè)邏輯節(jié)點(diǎn)內(nèi)部是主從，如圖：

默認(rèn)我們已經(jīng)有了docker環(huán)境，現(xiàn)在開始基于docker安裝Redis集群。redis 5.0 版本之前，網(wǎng)上有很多教程都是通過redis-trib.rb 來創(chuàng)建集群，但是redis 5.0 版本以后，就只能通過 redis-cli 來實(shí)現(xiàn)。本文即通過 redis-cli 創(chuàng)建集群，因?yàn)閞edis集群的節(jié)點(diǎn)選舉方式是需要半數(shù)以上的master通過，所以建議創(chuàng)建奇數(shù)個(gè)節(jié)點(diǎn)。本例中創(chuàng)建3個(gè)Master節(jié)點(diǎn)，并為每個(gè)Master節(jié)點(diǎn)各分配1個(gè)Slave節(jié)點(diǎn)。

首先需要找一份原始的redis.conf文件，將其重命名為：redis-cluster.tmpl，并配置如下幾個(gè)參數(shù)，此文件的目的是生成每一個(gè)redis實(shí)例的redis.conf:

[root@kerry2 redis]# wget https://raw.githubusercontent.com/antirez/redis/5.0/redis.conf
[root@kerry2 redis]# mv redis.conf redis-cluster.tmpl

vi redis-cluster.tmpl

# bind 127.0.0.1
protected-mode no
port ${PORT}
daemonize no
dir /data/redis
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000

然后執(zhí)行下列腳本，給3個(gè)Master和3個(gè)Slave創(chuàng)建各自的掛載卷目錄

# 創(chuàng)建 master 和 slave 文件夾
for port in `seq 7700 7705`; do
    ms="master"
    if [ $port -ge 7703 ]; then
        ms="slave"
    fi
    mkdir -p ./$ms/$port/ && mkdir -p ./$ms/$port/data 
    && PORT=$port envsubst < ./redis-cluster.tmpl > ./$ms/$port/redis.conf;
done

當(dāng)前目錄結(jié)構(gòu)為

[root@kerry2 redis]# tree
.
├── master
│?? ├── 7700
│?? │?? ├── data
│?? │?? └── redis.conf
│?? ├── 7701
│?? │?? ├── data
│?? │?? └── redis.conf
│?? └── 7702
│??     ├── data
│??     └── redis.conf
├── redis-cluster.tmpl
├── slave
 ??  ├── 7703
 ??  │?? ├── data
 ??  │?? └── redis.conf
 ??  ├── 7704
 ??  │?? ├── data
 ??  │?? └── redis.conf
 ??  └── 7705
 ??      ├── data
 ??      └── redis.conf

假設(shè)我們只考慮單純的docker環(huán)境，并無docker-compose和k8s之類的服務(wù)編排，每個(gè)redis容器之間必須要保證通訊，可以通過創(chuàng)建docker network。（使用微服務(wù)編排的情況，后續(xù)再討論）

[root@kerry2 redis]# docker network create redis-cluster-net

現(xiàn)在我們就可以運(yùn)行docker redis 的 master 和 slave 實(shí)例了

# 運(yùn)行docker redis 的 master 和 slave 實(shí)例
for port in `seq 7700 7705`; do
    ms="master"
    if [ $port -ge 7703 ]; then
        ms="slave"
    fi
    docker run -d -p $port:$port -p 1$port:1$port 
    -v $PWD/$ms/$port/redis.conf:/data/redis.conf 
    -v $PWD/$ms/$port/data:/data/redis 
    --restart always --name redis-$ms-$port --net redis-cluster-net 
    redis redis-server /data/redis.conf;
done

查看已創(chuàng)建的redis容器

[root@kerry2 redis]# docker ps |grep redis
010f295922e3        redis                                                                                                  "docker-entrypoint..."   41 seconds ago       Up 36 seconds       0.0.0.0:7705->7705/tcp, 6379/tcp, 0.0.0.0:17705->17705/tcp   redis-slave-7705
b5d89f0469ee        redis                                                                                                  "docker-entrypoint..."   45 seconds ago       Up 40 seconds       0.0.0.0:7704->7704/tcp, 6379/tcp, 0.0.0.0:17704->17704/tcp   redis-slave-7704
f710e805fe96        redis                                                                                                  "docker-entrypoint..."   50 seconds ago       Up 45 seconds       0.0.0.0:7703->7703/tcp, 6379/tcp, 0.0.0.0:17703->17703/tcp   redis-slave-7703
b187603aec65        redis                                                                                                  "docker-entrypoint..."   55 seconds ago       Up 50 seconds       0.0.0.0:7702->7702/tcp, 6379/tcp, 0.0.0.0:17702->17702/tcp   redis-master-7702
ea635bd8b3dc        redis                                                                                                  "docker-entrypoint..."   About a minute ago   Up 55 seconds       0.0.0.0:7701->7701/tcp, 6379/tcp, 0.0.0.0:17701->17701/tcp   redis-master-7701
f02a468572ca        redis                                                                                                  "docker-entrypoint..."   About a minute ago   Up About a minute   0.0.0.0:7700->7700/tcp, 6379/tcp, 0.0.0.0:17700->17700/tcp   redis-master-7700

通過redis-cli 命令構(gòu)建集群，隨便找一個(gè)redis容器，運(yùn)行redis-cli --cluster create --cluster-replicas 1 ip:port 命令即可

[root@kerry2 redis]# docker exec -it redis-master-7700 redis-cli --cluster create 宿主ip:7700 宿主ip:7701 宿主ip:7702 宿主ip:7703 宿主ip:7704 宿主ip:7705 --cluster-replicas 1

# 提示輸入yes后，構(gòu)建集群成功

記住構(gòu)建集群時(shí)，要保證節(jié)點(diǎn)redis數(shù)據(jù)為空，否則會(huì)出現(xiàn)下列錯(cuò)誤。

[ERR] Node 172.18.0.2:7700 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

集群搭建完成后，我們通過 redis-cli 命令連接集群節(jié)點(diǎn)驗(yàn)證一下。redis 集群節(jié)點(diǎn)的連接命令是通過 redis-cli -c -h ${ip} -p ${port}

[root@kerry2 ~]# docker exec -it redis-master-7700 redis-cli -c -h 宿主機(jī)ip  -p 7700
宿主機(jī)ip :7700> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:23838
cluster_stats_messages_pong_sent:24283
cluster_stats_messages_sent:48121
cluster_stats_messages_ping_received:24278
cluster_stats_messages_pong_received:23838
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:48121
宿主機(jī)ip :7700> cluster nodes
056b99fe5993510c264e3e9a1fd1a04144da6a7b 172.18.0.2:7700@17700 myself,master - 0 1558578383000 1 connected 0-5460
73376f00b2837309d77b82d98984715f44eb2dcf 宿主機(jī)ip:7704@17704 slave 056b99fe5993510c264e3e9a1fd1a04144da6a7b 0 1558578388562 5 connected
20e4b509a54fb17ed8d0f6c21bbc8693ab715ee7 宿主機(jī)ip:7705@17705 slave 1bcb0a6ac770e261c5b0de21cfe26b0bd614590e 0 1558578386658 6 connected
1bcb0a6ac770e261c5b0de21cfe26b0bd614590e 宿主機(jī)ip:7701@17701 master - 0 1558578386579 2 connected 5461-10922
07a4c19848d578ac339bfaf741e1edfd0b010b08 宿主機(jī)ip:7702@17702 master - 0 1558578388661 3 connected 10923-16383
506271ed3f0657f05f439108d9372b638d2c4571 宿主機(jī)ip:7703@17703 slave 07a4c19848d578ac339bfaf741e1edfd0b010b08 0 1558578386000 4 connected

可以看到通過 "cluster info"命令看到集群的基本信息，所有的slot (16384) 都分配完畢。然后通過 "cluster nodes" 命令查看到每個(gè)master節(jié)點(diǎn)的slot分配的區(qū)域。至此，redis集群基本安裝成功。

集群

cluster info ：打印集群的信息
cluster nodes ：列出集群當(dāng)前已知的所有節(jié)點(diǎn)（ node），以及這些節(jié)點(diǎn)的相關(guān)信息。

節(jié)點(diǎn)

cluster meet   ：將 ip 和 port 所指定的節(jié)點(diǎn)添加到集群當(dāng)中，讓它成為集群的一份子。
cluster forget  ：從集群中移除 node_id 指定的節(jié)點(diǎn)。
cluster replicate  ：將當(dāng)前節(jié)點(diǎn)設(shè)置為 node_id 指定的節(jié)點(diǎn)的從節(jié)點(diǎn)。
cluster saveconfig ：將節(jié)點(diǎn)的配置文件保存到硬盤里面。

槽(slot)

cluster addslots  [slot ...] ：將一個(gè)或多個(gè)槽（ slot）指派（ assign）給當(dāng)前節(jié)點(diǎn)。
cluster delslots  [slot ...] ：移除一個(gè)或多個(gè)槽對(duì)當(dāng)前節(jié)點(diǎn)的指派。
cluster flushslots ：移除指派給當(dāng)前節(jié)點(diǎn)的所有槽，讓當(dāng)前節(jié)點(diǎn)變成一個(gè)沒有指派任何槽的節(jié)點(diǎn)。
cluster setslot  node  ：將槽 slot 指派給 node_id 指定的節(jié)點(diǎn)，如果槽已經(jīng)指派給
另一個(gè)節(jié)點(diǎn)，那么先讓另一個(gè)節(jié)點(diǎn)刪除該槽>，然后再進(jìn)行指派。
cluster setslot  migrating  ：將本節(jié)點(diǎn)的槽 slot 遷移到 node_id 指定的節(jié)點(diǎn)中。
cluster setslot  importing  ：從 node_id 指定的節(jié)點(diǎn)中導(dǎo)入槽 slot 到本節(jié)點(diǎn)。
cluster setslot  stable ：取消對(duì)槽 slot 的導(dǎo)入（ import）或者遷移（ migrate）。
鍵
cluster keyslot  ：計(jì)算鍵 key 應(yīng)該被放置在哪個(gè)槽上。
cluster countkeysinslot  ：返回槽 slot 目前包含的鍵值對(duì)數(shù)量。
cluster getkeysinslot   ：返回 count 個(gè) slot 槽中的鍵  

（1）redis-cluster 把所有的物理節(jié)點(diǎn)映射到[ 0 ~ 16383 ]個(gè)slot（哈希槽）上，cluster負(fù)責(zé)維護(hù) node<->slot<->value。

（2）集群任意一個(gè)節(jié)點(diǎn)中，如果master掛掉，但是還有slaver，slave將自動(dòng)升為 master，系統(tǒng)正常。

（3）集群任意一個(gè)節(jié)點(diǎn)中，如果master掛掉，并且沒有slaver，集群將進(jìn)入fail狀態(tài)。

（4）如果集群超過半數(shù)以上節(jié)點(diǎn)的master掛掉，不管是否有slaver，集群都將進(jìn)入fail狀態(tài)。

（5）節(jié)點(diǎn)判斷是否失效的選舉，是集群中所有的master參與的，如果半數(shù)以上的master節(jié)點(diǎn)與當(dāng)前被檢測的master節(jié)點(diǎn)通訊檢測超時(shí)（cluster-node-timerout），就認(rèn)為當(dāng)前master節(jié)點(diǎn)掛掉了。

docker redis 集群（cluster）搭建