前言

Redis 是在開發(fā)過程中經(jīng)常用到的緩存中間件，為了考慮在生產(chǎn)環(huán)境中穩(wěn)定性和高可用，Redis通常采用集群模式的部署方式。

在制定Redis集群的部署策略時，常規(guī)部署在虛擬機上的方式配置繁瑣并且需要手動重啟節(jié)點，相較之下，使用 PetaExpress 提供的

Kubernetes(k8s) 服務(wù) 進行 Redis 集群的部署，則展現(xiàn)出了顯著的優(yōu)勢：

1、安裝便捷：使用鏡像或者 yaml 配置文件即可一件安裝，極大地簡化了安裝流程

2、縮擴容方便：在 擴容 、 縮容 方面的優(yōu)點一鍵伸縮，無需復雜的配置和繁瑣的步驟

3、智能自動調(diào)度：容器意外掛掉后能夠迅速進行自動調(diào)度重啟和資源分配

4、高效且穩(wěn)定： Kubernetes 在整個集群上進行調(diào)度，只要整個集群不掛掉總會調(diào)度到合適節(jié)點重啟容器服務(wù)

閱讀全文，后面告訴你怎么免費白拿紅包

在 PetaExpress KubeSphere容器平臺部署 Kubernetes集群

在 Peta Express 中部署 Kubernetes 非常簡單，直接使用 Peta Express 中內(nèi)置的 QKE 即可，登錄到 Peta Express 控制臺，在產(chǎn)品與服務(wù)中找到 AppCenter 控制臺 → 應用中心。

找到 QKE 立即部署即可。

按照提示輸入名稱，選擇集群規(guī)模等信息，直接提交就行了。但需要注意集群的配置，如果是開發(fā)測試可以選擇 “基礎(chǔ)型開發(fā)環(huán)境” 或 “企業(yè)型測試環(huán)境”，如果是生產(chǎn)的話則可以選擇 “基礎(chǔ)型生產(chǎn)環(huán)境” 或 “企業(yè)型生產(chǎn)環(huán)境”，也可以自定義集群規(guī)模和HA。

根據(jù)集群的規(guī)模，部署時間大致2分鐘到10分鐘不等，還是非常快的。部署完 Kubernetes, 接下來我們就可以開始進入正題 安裝 Redis 了。

安裝 Redis 集群

我這里新建了一個 test-project 的項目空間來做 Redis 集群所有安裝資源的放置，后續(xù)在 DNS 上會用到項目空間名稱，會標注這一部分，需要注意用自己的項目空間名。

Redis 集群的安裝流程大致分為以下幾個關(guān)鍵步驟：

①配置 redis.conf 字典;

②創(chuàng)建 redis 服務(wù);

③容器組配置;

④存儲設(shè)置;

⑤高級設(shè)置。

接下來，我們將從第一步開始，逐步完成 Redis 集群的安裝和配置過程。

配置 redis.conf 字典

在項目空間的 配置 → 配置字典 → 創(chuàng)建 進行配置字典的創(chuàng)建。

名稱就叫 redis-conf 然后下一步 添加鍵值對數(shù)據(jù)。

key 值的內(nèi)容為 redis.conf ， value 值為：

創(chuàng)建 Redis 服務(wù)

在項目空間的 應用負載 → 工作負載 → 有狀態(tài)副本集 → 創(chuàng)建 進行 Redis 服務(wù)的創(chuàng)建。

基本設(shè)置里名稱就叫 redis-cluster 然后進行重頭戲，下一步的 容器組配置 。

容器組配置

這一步的核心就是配置 Redis 的容器，集群數(shù)量我們通常采用三主三從的集群配置，那容器的副本數(shù)量就是 6 個，這樣的配置不僅保證了系統(tǒng)的穩(wěn)定性，也提升了數(shù)據(jù)的安全性。

容器組副本數(shù)量調(diào)到 6 個，點擊添加容器。

鏡像選擇 docker hub 中 redis ，并選擇使用默認端口，CPU 和內(nèi)存可以選擇性預留，如果不預留就是調(diào)度公共資源。

選擇 使用默認端口 的話下面的端口設(shè)置就是如上圖一樣都會使用 6379 ，還有就是配置啟動命令。

如上圖配置：

命令： redis-server

參數(shù)： /etc/redis/redis.conf

參數(shù)指向的就是之前字典配置的內(nèi)容，但是需要下一步 存儲設(shè)置 里進行配置字典才能使用。

其他內(nèi)容沒有什么需要配置的，選擇對勾完成容器配置。

更新策略就是推薦的 滾動更新 ，其他也沒什么需要修改的，點擊下一步配置存儲設(shè)置 。
存儲設(shè)置

在這一步有兩個操作

添加存儲卷模板

掛載配置字典或保密字典

**添加存儲卷模板**

PVC 名稱前綴：redis-pvc

容量：10G

掛載路徑：

權(quán)限：讀寫

地址：/data

主要是掛載路徑選好，配置好后點擊對勾完成配置

掛載配置字典或保密字典

這一步是掛載我們之前配置的字典 redis-conf ，也是我們 redis 啟動命令的參數(shù)內(nèi)容。

選擇 redis 的配置字典。

掛載權(quán)限為： 只讀 ，地址為： /etc/redis ;跟上面的命令參數(shù)的配置相對應。

特定鍵選擇 redis.conf 后面同名 redis.conf ，完成后點擊對勾回到存儲設(shè)置。配置好后就入上圖，點擊下一步進入最后的高級設(shè)置。

高級設(shè)置 里是一些額外配置，可以根據(jù)自己場景選擇調(diào)整配置，調(diào)成完成后點擊 創(chuàng)建 進行 Redis 集群容器的創(chuàng)建。

初始化 Redis 集群

創(chuàng)建完 Redis 服務(wù)后 在項目空間的 應用負載 → 服務(wù) → 指定redis服務(wù) 進入 redis 服務(wù)詳情，詳情如下圖：

6 個 redis 的容器組都啟動成功了，接下來就是初始化集群;因為我們配置的 redis 的服務(wù)是 有狀態(tài)服務(wù) (Headless) 所以訪問模式可以通過內(nèi)部 DNS，訪問格式是：(容器名稱).( 容器 DNS).svc.cluster.local。

按上圖示例 比如訪問集群 1 節(jié)點訪問地址就是 redis-cluster-v1-1 加 DNS 地址 redis-cluster.test-project 加svc.cluster.local ，完整地址如下：

1

redis-cluster-v1-

1

.redis-cluster.test-project.svc.cluster.local

2

在 redis 集群的非第一節(jié)點的其他節(jié)點終端內(nèi)通過這個地址進行訪問驗證他們是否互通，進入 3 節(jié)點的終端，如下圖：

進入終端，執(zhí)行命令：

如果能如下圖一樣跳轉(zhuǎn)到 v1-1 的節(jié)點上就代表這兩個節(jié)點互通。

1 redis-cli -h redis-cluster-v1-1.redis-cluster.test-project.svc.clusterredis.local

2

如果能如下圖一樣跳轉(zhuǎn)到 v1-1 的節(jié)點上就代表這兩個節(jié)點互通。

執(zhí)行命令： cluster info 查看節(jié)點的集群情況。

主要看上圖的這兩個參數(shù)， nodes 為 1 表明當前節(jié)點只有 1 個， cluster_size 表明當前沒有 master 節(jié)點，所以目前還不是集群結(jié)構(gòu)， info 屬性的詳解在此列出：

cluster_state ：ok 狀態(tài)表示集群可以正常接受查詢請求。fail 狀態(tài)表示，至少有一個哈希槽沒有被綁定(說明有哈希槽沒有被綁定到

任意一個節(jié)點)，或者在錯誤的狀態(tài)(節(jié)點可以提供服務(wù)但是帶有 FAIL 標記)，或者該節(jié)點無法聯(lián)系到多數(shù) master 節(jié)點。

cluster_slots_assigned ：已分配到集群節(jié)點的哈希槽數(shù)量(不是沒有被綁定的數(shù)量)。16384 個哈希槽全部被分配到集群節(jié)點是集群

正常運行的必要條件。

cluster_slots_ok ：哈希槽狀態(tài)不是 FAIL 和 PFAIL 的數(shù)量。

cluster_known_nodes ：集群中節(jié)點數(shù)量，包括處于握手狀態(tài)還沒有成為集群正式成員的節(jié)點。

cluster_slots_pfail ：哈希槽狀態(tài)是 PFAIL 的數(shù)量。只要哈希槽狀態(tài)沒有被升級到 FAIL 狀態(tài)，這些哈希槽仍然可以被正常處理。

PFAIL 狀態(tài)表示我們當前不能和節(jié)點進行交互，但這種狀態(tài)只是臨時的錯誤狀態(tài)。

cluster_slots_fail ： 哈希槽狀態(tài)是 FAIL 的數(shù)量。如果值不是 0，那么集群節(jié)點將無法提供查詢服務(wù)，除非 cluster-require-full

coverage 被設(shè)置為 no。

cluster_current_epoch ：集群本地 Current Epoch 變量的值。這個值在節(jié)點故障轉(zhuǎn)移過程時有用，它總是遞增和唯一的。

cluster_my_epoch ：當前正在使用的節(jié)點的 Config Epoch 值。這個是關(guān)聯(lián)在本節(jié)點的版本值。

cluster_size ：至少包含一個哈希槽且能夠提供服務(wù)的 master 節(jié)點數(shù)量。

cluster_stats_messages_sent ：通過 node-to-node 二進制總線發(fā)送的消息數(shù)量。

cluster_stats_messages_received ：通過 node-to-node 二進制總線接收的消息數(shù)量。

IP 地址初始化集群(初始化方案一)

先嘗試使用 ip + port 的方式初始化集群，但是在 Kubernetes( K8s) 中啟動服務(wù) ip 都會變化，所以最終的結(jié)果還是要用 DNS 方式進行集群初始化。

執(zhí)行本步后再想修改為 DNS 地址初始化需要從來一遍，如果不想麻煩的同學可以直接跳過。

記錄 redis 集群的所有 ip+port，初始化命令如下：

1redis-cli --cluster create 10.233.70.30:6379 10.233.70.32:6379 10.233.90.41:6379 10.233.90.43:6379 10.233.96.47:6

2

進入 redis 集群隨意一個節(jié)點的 終端 執(zhí)行上面的命令。

如上圖集群初始化就完成了，再輸入命令 redis-cli 進入命令端，再執(zhí)行 cluster info 查看集群信息。

現(xiàn)在我們的集群節(jié)點有了 6 個， master 節(jié)點也有了三個，集群建立完成，后面的操作選擇 master 節(jié)點進行操作。

在對集群節(jié)點進行驗證的時候如果遇到上圖的錯誤 (error) MOVED 2589 10.233.70.30:6379 是因為 redis-cli 沒有開啟集群模式，將命令修改為 redis-cli -c 就切換為集群模式了。

使用內(nèi)部 DNS 初始化(初始化方案二)

使用 ip 地址的方式在每次 K8s 調(diào)度 redis 后 ip 都會發(fā)生變化，所以在 K8s 集群中使用 ip 方式初始化集群并不太合適，但是如果使用內(nèi)部 DNS 直接跟上面一樣初始化集群會出現(xiàn)錯誤，因為 redis 對域名的支持并不太好，所以這時候可以用 Redis-tribe 。

創(chuàng)建 Redis-tribe 服務(wù)

在項目空間的 應用負載 → 工作負載 → 創(chuàng)建 → 編輯 YAML 進行Redis-tribe服務(wù)的創(chuàng)建。

參數(shù)

namespace

就寫項目名稱：

具體 YAML 內(nèi)容如下：

創(chuàng)建好后在容器組內(nèi)找到 redis-cluster-tools 。

初始化集群

點擊容器名稱進入容器詳情再進入到終端里。

1apiVersion: apps/v1

2kind: Deployment

3metadata:

4namespace: test-project

5labels:

6app: redis-cluster-tools

7name: redis-cluster-tools

8spec:

9replicas: 1

10selector:

11matchLabels:

12app: redis-cluster-tools

13template:

14metadata:

15labels:

16app: redis-cluster-tools

17name: pos-redis

18spec:

19containers:

20- name: pos-redis

21image: sunnywang/redis-tools-ubuntu:v0.5.1

22imagePullPolicy: IfNotPresent

23args:

24- /bin/bash

25- -c

26- sleep 3600

27

創(chuàng)建好后在容器組內(nèi)找到 redis-cluster-tools 。

初始化集群

點擊容器名稱進入容器詳情再進入到終端里。

先執(zhí)行以下命令初始化 master 節(jié)點，這時候之前的內(nèi)部 DNS 的域名就有用了。

1 redis-trib.py create dig +short redis-cluster-v1-0.redis-cluster.test-project.svc.cluster.local:6379 `dig +shor

2

執(zhí)行結(jié)果如下圖：

接下來給每個 master 節(jié)點綁定對應的副本節(jié)點，總共三個：

0 節(jié)點->3 節(jié)點

1redis-trib.py create dig +short redis-cluster-v1-0.redis-cluster.test-project.svc.cluster.local:6379 `dig +shor

2

1 節(jié)點->4 節(jié)點

1redis-trib.py replicate --master-addr `dig +short redis-cluster-v1-0.redis-cluster.test-project.svc.cluster.local

2

2 節(jié)點->5 節(jié)點

1redis-trib.py replicate --master-addr `dig +short redis-cluster-v1-1.redis-cluster.test-project.svc.cluster.loca

2

執(zhí)行結(jié)果如下：

驗證

隨便進入一個集群節(jié)點的終端，還是執(zhí)行 cluster info 命令，查看集群信息。

使用基礎(chǔ)命令進行驗證，驗證集群模式的 redis-cli 需要加 -c 。

驗證集群模式可以正常使用。

憑此文章可以去petaexpress官網(wǎng)發(fā)工單免費白拿10美元紅包，數(shù)量有限先到先得。申領(lǐng)步驟：注冊→登錄→發(fā)工單回復“文章網(wǎng)址+文章標題+申請獎勵”

審核編輯 黃宇