kubernetes - run redis (Replica)

честно спизжено отсюда:
http://devmind.ru/k8s/razvorachivaem-ha-cluster-redis-in-kubernetes

Задача: развернуть отказоустойчивый экземпляр redis. У redis есть 2 варианта:

Replica - схема master-slave. В мастер можно писать/читать, со слейва можно только читать. На всех нодах одинаковые данные. При падении мастера, любой слейв сможет стать мастером.

Cluster- Тут все серьезно. Кластер умеет Sharding. Годиться для очень больших проектов.

Собирать будем по схеме Replica. За основу берем готовый helm от Bitnami и корректируем настройки под нас.

helm repo add bitnami https://charts.bitnami.com/bitnami
helm pull bitnami/redis
tar -xvf redis-12.8.3.tgz
cd redis/
vim values.yaml

#Задаем пароль
global:
  redis:
    password: "myredispassword"

#Включаем сборщик метрик
metrics:
  enabled: true
  serviceMonitor:
    enabled: true
    namespace: "monitoring"

#Запрещаем мастеру и слейву создавать файловые стораджи.
master:
  persistence:
    enabled: false

slave:
  persistence:
    enabled: false

# Включаем sentinel, увеличиваем количество слейвов и указываем имя нашего кластера.
sentinel:
  enabled: true
  downAfterMilliseconds: 600

cluster:
  enabled: true
  slaveCount: 3  

clusterDomain: cluster.local

#Задаем пароль

global:

redis:

password: "myredispassword"

#Включаем сборщик метрик

metrics:

enabled: true

serviceMonitor:

enabled: true

namespace: "monitoring"

#Запрещаем мастеру и слейву создавать файловые стораджи.

master:

persistence:

enabled: false

slave:

persistence:

enabled: false

# Включаем sentinel, увеличиваем количество слейвов и указываем имя нашего кластера.

sentinel:

enabled: true

downAfterMilliseconds: 600

cluster:

enabled: true

slaveCount: 3

clusterDomain: cluster.local

Sentinel нам необходим для автоматического переключения slave в master, при падении последнего. 3 ноды это минимум ,который нужен для кворума sentinel.

узнать имя кластера можно командой:

kubectl config view

у меня оно осталось по умолчанию:

[root@kub-master-1 ~]# kubectl config view
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://192.168.1.201:6443
  name: cluster.local
contexts:
- context:
    cluster: cluster.local
    user: admin-cluster.local
  name: admin-cluster.local
current-context: admin-cluster.local
kind: Config
preferences: {}
users:
- name: admin-cluster.local
  user:
    client-certificate-data: REDACTED
    client-key-data: REDACTED

[root@kub-master-1 ~]# kubectl config view

apiVersion: v1

clusters:

- cluster:

certificate-authority-data: DATA+OMITTED

server: https://192.168.1.201:6443

contexts:

- context:

cluster: cluster.local

user: admin-cluster.local

current-context: admin-cluster.local

kind: Config

preferences: {}

users:

- name: admin-cluster.local

user:

client-certificate-data: REDACTED

client-key-data: REDACTED

ставим:

helm install redis-cluster redis/ -f redis/values.yaml -n redis

Дожидаемся запуска подов, проверям:

[root@kub-master-1 ~]# kubectl get pod -n redis
NAME                   READY   STATUS    RESTARTS   AGE
redis-cluster-node-0   3/3     Running   0          16m
redis-cluster-node-1   3/3     Running   0          15m
redis-cluster-node-2   3/3     Running   0          15m

[root@kub-master-1 ~]# kubectl get pod -n redis

NAME READY STATUS RESTARTS AGE

redis-cluster-node-0 3/3 Running 0 16m

redis-cluster-node-1 3/3 Running 0 15m

redis-cluster-node-2 3/3 Running 0 15m

[root@kub-master-1 ~]# kubectl get service -n redis
NAME                     TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)              AGE
redis-cluster            ClusterIP   10.100.203.196   <none>        6379/TCP,26379/TCP   17m
redis-cluster-headless   ClusterIP   None             <none>        6379/TCP,26379/TCP   17m
redis-cluster-metrics    ClusterIP   10.100.29.95     <none>        9121/TCP             17m

[root@kub-master-1 ~]# kubectl get service -n redis

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

redis-cluster ClusterIP 10.100.203.196 <none> 6379/TCP,26379/TCP 17m

redis-cluster-headless ClusterIP None <none> 6379/TCP,26379/TCP 17m

redis-cluster-metrics ClusterIP 10.100.29.95 <none> 9121/TCP 17m

В принципе на этом все, если ваши приложения умеют работать с несколькими нодами redis и определять мастера. Обращаться ваши приложения уже могут по headless адресам нод

redis-cluster-node-0.redis-cluster-headless:6379
redis-cluster-node-1.redis-cluster-headless:6379
redis-cluster-node-2.redis-cluster-headless:6379

redis-cluster-node-0.redis-cluster-headless:6379

redis-cluster-node-1.redis-cluster-headless:6379

redis-cluster-node-2.redis-cluster-headless:6379

мы сделаем единую точку входа:

Узнать кто является мастером, можно у самих нод, заходим в контейнер:

[root@kub-master-1 ~]# kubectl exec -ti redis-cluster-node-1 -n redis bash

и теперь опрашиваем наши поды:

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-0.redis-cluster-headless -a myredispassword info Replication

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-0.redis-cluster-headless -a myredispassword info Replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:10.0.214.20
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:1481209
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:8817a08da830eaadeb996ab83441c136286072d2
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1481209
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:504183
repl_backlog_histlen:977027

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-0.redis-cluster-headless -a myredispassword info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.

# Replication

role:slave

master_host:10.0.214.20

master_port:6379

master_link_status:up

master_last_io_seconds_ago:1

master_sync_in_progress:0

slave_repl_offset:1481209

slave_priority:100

slave_read_only:1

connected_slaves:0

master_replid:8817a08da830eaadeb996ab83441c136286072d2

master_replid2:0000000000000000000000000000000000000000

master_repl_offset:1481209

second_repl_offset:-1

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:504183

repl_backlog_histlen:977027

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-1.redis-cluster-headless -a myredispassword info Replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:10.0.214.20
master_port:6379
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:1484927
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:8817a08da830eaadeb996ab83441c136286072d2
master_replid2:9009ea42aeb6a76877a7a7998c0d8ede4b4b11b6
master_repl_offset:1484927
second_repl_offset:501959
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:436352
repl_backlog_histlen:1048576

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-1.redis-cluster-headless -a myredispassword info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.

# Replication

role:slave

master_host:10.0.214.20

master_port:6379

master_link_status:up

master_last_io_seconds_ago:0

master_sync_in_progress:0

slave_repl_offset:1484927

slave_priority:100

slave_read_only:1

connected_slaves:0

master_replid:8817a08da830eaadeb996ab83441c136286072d2

master_replid2:9009ea42aeb6a76877a7a7998c0d8ede4b4b11b6

master_repl_offset:1484927

second_repl_offset:501959

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:436352

repl_backlog_histlen:1048576

как видим поды 0 и 1 являются слейвами теперь сделаем запрос к под 2

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-2.redis-cluster-headless -a myredispassword info Replication

# Replication
role:master
connected_slaves:2
slave0:ip=10.0.94.18,port=6379,state=online,offset=1500578,lag=0
slave1:ip=10.0.214.19,port=6379,state=online,offset=1500578,lag=0
master_replid:8817a08da830eaadeb996ab83441c136286072d2
master_replid2:9009ea42aeb6a76877a7a7998c0d8ede4b4b11b6
master_repl_offset:1500851
second_repl_offset:501959
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:452276
repl_backlog_histlen:1048576

# Replication

role:master

connected_slaves:2

slave0:ip=10.0.94.18,port=6379,state=online,offset=1500578,lag=0

slave1:ip=10.0.214.19,port=6379,state=online,offset=1500578,lag=0

master_replid:8817a08da830eaadeb996ab83441c136286072d2

master_replid2:9009ea42aeb6a76877a7a7998c0d8ede4b4b11b6

master_repl_offset:1500851

second_repl_offset:501959

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:452276

repl_backlog_histlen:1048576

как видим он является мастером.

Для дальнейшей работы, за основу возьмем haproxy, который будет опрашивать каждую из нод на предмет ее статуса и переключать запросы на мастера. Конфиг самого haproxy:

[root@kub-master-1 ~]# cat redis/haproxy.cfg

frontend redis_frontend
mode tcp
bind 0.0.0.0:6379
default_backend redis-backend

backend redis-backend
    mode tcp
    option tcplog
    option tcp-check
    tcp-check send AUTH\ myredispassword\r\n
    tcp-check expect string +OK
    tcp-check send PING\r\n
    tcp-check expect string +PONG
    tcp-check send info\ replication\r\n
    tcp-check expect string role:master
    tcp-check send QUIT\r\n
    tcp-check expect string +OK
    server redis_node1_app01 redis-cluster-node-0.redis-cluster-headless:6379 maxconn 4096 check inter 1s
    server redis_node2_app02 redis-cluster-node-1.redis-cluster-headless:6379 maxconn 4096 check inter 1s
    server redis_node3_app03 redis-cluster-node-2.redis-cluster-headless:6379 maxconn 4096 check inter 1s

frontend redis_frontend

mode tcp

bind 0.0.0.0:6379

default_backend redis-backend

backend redis-backend

mode tcp

option tcplog

option tcp-check

tcp-check send AUTH\ myredispassword\r\n

tcp-check expect string +OK

tcp-check send PING\r\n

tcp-check expect string +PONG

tcp-check send info\ replication\r\n

tcp-check expect string role:master

tcp-check send QUIT\r\n

tcp-check expect string +OK

server redis_node1_app01 redis-cluster-node-0.redis-cluster-headless:6379 maxconn 4096 check inter 1s

server redis_node2_app02 redis-cluster-node-1.redis-cluster-headless:6379 maxconn 4096 check inter 1s

server redis_node3_app03 redis-cluster-node-2.redis-cluster-headless:6379 maxconn 4096 check inter 1s

в этом конфиге не забываем указывать аутентификационные данные а именно myredispassword

Заливаем его на кластер:

[root@kub-master-1 ~]# kubectl create configmap redis-haproxy-config --from-file=redis/haproxy.cfg -n redis

[root@kub-master-1 ~]# cat redis/deployment-hapr.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis-haproxy-deployment
  namespace: redis
  labels:
    app: redis-haproxy
spec:
  replicas: 2
  selector:
    matchLabels:
      app: redis-haproxy
  template:
    metadata:
      labels:
        app: redis-haproxy
    spec:
      containers:
      - name: redis-haproxy
        image: haproxy:lts-alpine
        volumeMounts:
        - name: redis-haproxy-config-volume
          mountPath: /usr/local/etc/haproxy/haproxy.cfg
          subPath: haproxy.cfg
        ports:
        - containerPort: 6379
      volumes:
      - name: redis-haproxy-config-volume
        configMap:
          name: redis-haproxy-config
          items:
          - key: haproxy.cfg
            path: haproxy.cfg

apiVersion: apps/v1

kind: Deployment

metadata:

namespace: redis

labels:

app: redis-haproxy

spec:

replicas: 2

selector:

matchLabels:

app: redis-haproxy

template:

metadata:

labels:

app: redis-haproxy

spec:

containers:

- name: redis-haproxy

image: haproxy:lts-alpine

volumeMounts:

- name: redis-haproxy-config-volume

mountPath: /usr/local/etc/haproxy/haproxy.cfg

subPath: haproxy.cfg

ports:

- containerPort: 6379

volumes:

- name: redis-haproxy-config-volume

configMap:

items:

- key: haproxy.cfg

path: haproxy.cfg

[root@kub-master-1 ~]# cat redis/service-hapr.yaml

apiVersion: v1
kind: Service
metadata:
  name: redis-haproxy-balancer
  namespace: redis
spec:
  type: ClusterIP
  selector:
    app: redis-haproxy
  ports:
  - port: 6379
    targetPort: 6379

apiVersion: v1

kind: Service

metadata:

namespace: redis

spec:

type: ClusterIP

selector:

app: redis-haproxy

ports:

- port: 6379

targetPort: 6379

применяем:

[root@kub-master-1 ~]# kubectl apply -f redis/deployment-hapr.yaml -f redis/service-hapr.yaml

проверяем:

[root@kub-master-1 ~]# kubectl get pod -n redis
NAME                                        READY   STATUS    RESTARTS   AGE
redis-cluster-node-0                        3/3     Running   0          145m
redis-cluster-node-1                        3/3     Running   0          144m
redis-cluster-node-2                        3/3     Running   0          143m
redis-haproxy-deployment-56cb4b7bd6-mc6tk   1/1     Running   0          28s
redis-haproxy-deployment-56cb4b7bd6-v295k   1/1     Running   0          28s

[root@kub-master-1 ~]# kubectl get service -n redis
NAME                     TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)              AGE
redis-cluster            ClusterIP   10.100.203.196   <none>        6379/TCP,26379/TCP   145m
redis-cluster-headless   ClusterIP   None             <none>        6379/TCP,26379/TCP   145m
redis-cluster-metrics    ClusterIP   10.100.29.95     <none>        9121/TCP             145m
redis-haproxy-balancer   ClusterIP   10.100.231.70    <none>        6379/TCP             49s

[root@kub-master-1 ~]# kubectl get pod -n redis

NAME READY STATUS RESTARTS AGE

redis-cluster-node-0 3/3 Running 0 145m

redis-cluster-node-1 3/3 Running 0 144m

redis-cluster-node-2 3/3 Running 0 143m

redis-haproxy-deployment-56cb4b7bd6-mc6tk 1/1 Running 0 28s

redis-haproxy-deployment-56cb4b7bd6-v295k 1/1 Running 0 28s

[root@kub-master-1 ~]# kubectl get service -n redis

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE

redis-cluster ClusterIP 10.100.203.196 <none> 6379/TCP,26379/TCP 145m

redis-cluster-headless ClusterIP None <none> 6379/TCP,26379/TCP 145m

redis-cluster-metrics ClusterIP 10.100.29.95 <none> 9121/TCP 145m

redis-haproxy-balancer ClusterIP 10.100.231.70 <none> 6379/TCP 49s

если нужен будет доступ из вне кластера то открываем порт наружу:

[root@kub-master-1 ~]# cat redis/configmap.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp-services
  namespace: ingress-nginx
data:
  6379: "redis/redis-haproxy-balancer:6379"

apiVersion: v1

kind: ConfigMap

metadata:

namespace: ingress-nginx

data:

6379: "redis/redis-haproxy-balancer:6379"

В нём порт в начале 6379 должен быть прокинут наружу,
redis - это наш неймспей
redis-haproxy-balancer - это наш сервис
6379 - это порт на котором слушает сервис

применим его:

[root@kub-master-1 ~]# kubectl apply -f redis/configmap.yaml

Правим сервис ingress
kubectl edit service -n ingress-nginx ingress-nginx

А именно добавляем новый порт 6379

spec:
  clusterIP: 10.100.31.49
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
  - name: https
    port: 443
    protocol: TCP
    targetPort: 443
  - name: prometheus
    port: 10254
    protocol: TCP
    targetPort: 10254
  - name: redis-port
    port: 6379
    protocol: TCP
    targetPort: 6379

spec:

clusterIP: 10.100.31.49

ports:

- name: http

port: 80

protocol: TCP

targetPort: 80

- name: https

port: 443

protocol: TCP

targetPort: 443

- name: prometheus

port: 10254

protocol: TCP

targetPort: 10254

- name: redis-port

port: 6379

protocol: TCP

targetPort: 6379

После этого правим deployment ingress в нашем случае это daemonsets
kubectl edit daemonsets.apps -n ingress-nginx ingress-nginx-controller

Добавляем наш порт:

        ports:
        - containerPort: 80
          hostPort: 80
          name: http
          protocol: TCP
        - containerPort: 443
          hostPort: 443
          name: https
          protocol: TCP
        - containerPort: 6379
          hostPort: 6379
          name: redis
          protocol: TCP

ports:

- containerPort: 80

hostPort: 80

protocol: TCP

- containerPort: 443

hostPort: 443

protocol: TCP

- containerPort: 6379

hostPort: 6379

protocol: TCP

проверим что на воркер ноде (на которой у нас ingress) данный порт доступен:

[root@kub-worker-2 ~]# netstat -ntpl | grep 6379
tcp        0      0 0.0.0.0:6379            0.0.0.0:*               LISTEN      2643/nginx: worker
tcp6       0      0 :::6379                 :::*                    LISTEN      2643/nginx: worker

[root@kub-worker-2 ~]# netstat -ntpl | grep 6379

tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 2643/nginx: worker

tcp6 0 0 :::6379 :::* LISTEN 2643/nginx: worker

Теперь при обращении к внешнему адреу 192.168.1.205:6379 нам всегда будет отвечать мастер-сервер redis:

redis-cli -h 192.168.1.205 -a myredispassword  info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:2
slave0:ip=10.0.94.18,port=6379,state=online,offset=1846730,lag=0
slave1:ip=10.0.214.19,port=6379,state=online,offset=1846594,lag=1
master_replid:8817a08da830eaadeb996ab83441c136286072d2
master_replid2:9009ea42aeb6a76877a7a7998c0d8ede4b4b11b6
master_repl_offset:1846730
second_repl_offset:501959
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:798155
repl_backlog_histlen:1048576

redis-cli -h 192.168.1.205 -a myredispassword info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.

# Replication

role:master

connected_slaves:2

slave0:ip=10.0.94.18,port=6379,state=online,offset=1846730,lag=0

slave1:ip=10.0.214.19,port=6379,state=online,offset=1846594,lag=1

master_replid:8817a08da830eaadeb996ab83441c136286072d2

master_replid2:9009ea42aeb6a76877a7a7998c0d8ede4b4b11b6

master_repl_offset:1846730

second_repl_offset:501959

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:798155

repl_backlog_histlen:1048576

Временно останавливаем текущего мастера:

redis-cli -h 192.168.1.205 -a myredispassword DEBUG sleep 300

и проверим что у нас теперь подключённых слейвов - 1.

Через несколько секунд нам уже отвечает другой под, и сообщает что в кластере осталось лишь двое.

redis-cli -h 192.168.1.205 -a myredispassword  info Replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.94.18,port=6379,state=online,offset=1885948,lag=0
master_replid:3cfe621374523d906cd93235ef5b8f851a72b235
master_replid2:8817a08da830eaadeb996ab83441c136286072d2
master_repl_offset:1886085
second_repl_offset:1883316
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:837510
repl_backlog_histlen:1048576

redis-cli -h 192.168.1.205 -a myredispassword info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.

# Replication

role:master

connected_slaves:1

slave0:ip=10.0.94.18,port=6379,state=online,offset=1885948,lag=0

master_replid:3cfe621374523d906cd93235ef5b8f851a72b235

master_replid2:8817a08da830eaadeb996ab83441c136286072d2

master_repl_offset:1886085

second_repl_offset:1883316

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:837510

repl_backlog_histlen:1048576

для более наглядной проверке мы можем удалить мастер под и проверить что наш кластер будет доступен, проверим что 0 под является мастером:

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-0.redis-cluster-headless -a myredispassword info Replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:2
slave0:ip=10.0.94.18,port=6379,state=online,offset=1955465,lag=1
slave1:ip=10.0.214.20,port=6379,state=online,offset=1955451,lag=1
master_replid:3cfe621374523d906cd93235ef5b8f851a72b235
master_replid2:8817a08da830eaadeb996ab83441c136286072d2
master_repl_offset:1955465
second_repl_offset:1883316
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:906890
repl_backlog_histlen:1048576

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-0.redis-cluster-headless -a myredispassword info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.

# Replication

role:master

connected_slaves:2

slave0:ip=10.0.94.18,port=6379,state=online,offset=1955465,lag=1

slave1:ip=10.0.214.20,port=6379,state=online,offset=1955451,lag=1

master_replid:3cfe621374523d906cd93235ef5b8f851a72b235

master_replid2:8817a08da830eaadeb996ab83441c136286072d2

master_repl_offset:1955465

second_repl_offset:1883316

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:906890

repl_backlog_histlen:1048576

удалим его и проверим непосредственно по айпишнику:

[root@kub-master-1 ~]# kubectl delete pod -n redis redis-cluster-node-0

как видим всё отработало:

I have no name!@redis-cluster-node-1:/$ redis-cli -h 192.168.1.205 -a myredispassword  info Replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:master
connected_slaves:1
slave0:ip=10.0.214.20,port=6379,state=online,offset=1986417,lag=0
master_replid:5a2c9d9d55ddee9dbcc29daa968efb637ad4b5d9
master_replid2:3cfe621374523d906cd93235ef5b8f851a72b235
master_repl_offset:1986552
second_repl_offset:1984209
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:937977
repl_backlog_histlen:1048576

I have no name!@redis-cluster-node-1:/$ redis-cli -h 192.168.1.205 -a myredispassword info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.

# Replication

role:master

connected_slaves:1

slave0:ip=10.0.214.20,port=6379,state=online,offset=1986417,lag=0

master_replid:5a2c9d9d55ddee9dbcc29daa968efb637ad4b5d9

master_replid2:3cfe621374523d906cd93235ef5b8f851a72b235

master_repl_offset:1986552

second_repl_offset:1984209

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:937977

repl_backlog_histlen:1048576

и после того как под поднялся, его роль в кластере стала слейвом:

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-0.redis-cluster-headless -a myredispassword info Replication
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
# Replication
role:slave
master_host:10.0.94.18
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:1996407
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:5a2c9d9d55ddee9dbcc29daa968efb637ad4b5d9
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1996407
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1987787
repl_backlog_histlen:8621

I have no name!@redis-cluster-node-1:/$ redis-cli -h redis-cluster-node-0.redis-cluster-headless -a myredispassword info Replication

Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.

# Replication

role:slave

master_host:10.0.94.18

master_port:6379

master_link_status:up

master_last_io_seconds_ago:1

master_sync_in_progress:0

slave_repl_offset:1996407

slave_priority:100

slave_read_only:1

connected_slaves:0

master_replid:5a2c9d9d55ddee9dbcc29daa968efb637ad4b5d9

master_replid2:0000000000000000000000000000000000000000

master_repl_offset:1996407

second_repl_offset:-1

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:1987787

repl_backlog_histlen:8621

====================================================================================================

Dashboard + пароль в секретах.

kubectl create ns redis

helm repo add bitnami https://charts.bitnami.com/bitnami
helm pull bitnami/redis
tar -xvf redis-12.8.3.tgz

cd redis/

echo -n "password-for-redis-cluster-Asergsdg2345KHJ" | base64
cGFzc3dvcmQtZm9yLXJlZGlzLWNsdXN0ZXItQXNlcmdzZGcyMzQ1S0hK

cat secret-password.yaml

apiVersion: v1
kind: Secret
metadata:
  name: redis-password
  namespace: redis
type: Opaque
data:
  redis-password: cGFzc3dvcmQtZm9yLXJlZGlzLWNsdXN0ZXItQXNlcmdzZGcyMzQ1S0hK

apiVersion: v1

kind: Secret

metadata:

namespace: redis

type: Opaque

data:

redis-password: cGFzc3dvcmQtZm9yLXJlZGlzLWNsdXN0ZXItQXNlcmdzZGcyMzQ1S0hK

kubectl apply -f secret-password.yaml

vim values.yaml

## Use password authentication
usePassword: true
password: ""
## Use existing secret (ignores previous password)
existingSecret: redis-password

## Prometheus Exporter / Metrics
##
metrics:
  enabled: true

  # Enable this if you're using https://github.com/coreos/prometheus-operator
  serviceMonitor:
    enabled: true
    ## Specify a namespace if needed
    namespace: monitoring

master:
  persistence:
    enabled: false

slave:
  persistence:
    enabled: false

sentinel:
  enabled: true
  downAfterMilliseconds: 600

clusterDomain: test.local

cluster:
  enabled: true
  slaveCount: 3

## Use password authentication

usePassword: true

password: ""

## Use existing secret (ignores previous password)

existingSecret: redis-password

## Prometheus Exporter / Metrics

metrics:

enabled: true

# Enable this if you're using https://github.com/coreos/prometheus-operator

serviceMonitor:

enabled: true

## Specify a namespace if needed

namespace: monitoring

master:

persistence:

enabled: false

slave:

persistence:

enabled: false

sentinel:

enabled: true

downAfterMilliseconds: 600

clusterDomain: test.local

cluster:

enabled: true

slaveCount: 3

В следующем файле в строке tcp-check send AUTH\ myredispassword\r\n нам надо указать наш пароль от redis

[root@prod-vsrv-kubemaster1 redis]# cat haproxy.cfg

frontend redis_frontend
mode tcp
bind 0.0.0.0:6379
default_backend redis-backend

backend redis-backend
    mode tcp
    option tcplog
    option tcp-check
    tcp-check send AUTH\ password-for-redis-cluster-Asergsdg2345KHJ\r\n
    tcp-check expect string +OK
    tcp-check send PING\r\n
    tcp-check expect string +PONG
    tcp-check send info\ replication\r\n
    tcp-check expect string role:master
    tcp-check send QUIT\r\n
    tcp-check expect string +OK
    server redis_node1_app01 redis-cluster-node-0.redis-cluster-headless:6379 maxconn 4096 check inter 1s
    server redis_node2_app02 redis-cluster-node-1.redis-cluster-headless:6379 maxconn 4096 check inter 1s
    server redis_node3_app03 redis-cluster-node-2.redis-cluster-headless:6379 maxconn 4096 check inter 1s

frontend redis_frontend

mode tcp

bind 0.0.0.0:6379

default_backend redis-backend

backend redis-backend

mode tcp

option tcplog

option tcp-check

tcp-check send AUTH\ password-for-redis-cluster-Asergsdg2345KHJ\r\n

tcp-check expect string +OK

tcp-check send PING\r\n

tcp-check expect string +PONG

tcp-check send info\ replication\r\n

tcp-check expect string role:master

tcp-check send QUIT\r\n

tcp-check expect string +OK

server redis_node1_app01 redis-cluster-node-0.redis-cluster-headless:6379 maxconn 4096 check inter 1s

server redis_node2_app02 redis-cluster-node-1.redis-cluster-headless:6379 maxconn 4096 check inter 1s

server redis_node3_app03 redis-cluster-node-2.redis-cluster-headless:6379 maxconn 4096 check inter 1s

[root@prod-vsrv-kubemaster1 redis]# cat deployment-haproxy-redis.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis-haproxy-deployment
  namespace: redis
  labels:
    app: redis-haproxy
spec:
  replicas: 2
  selector:
    matchLabels:
      app: redis-haproxy
  template:
    metadata:
      labels:
        app: redis-haproxy
    spec:
      containers:
      - name: redis-haproxy
        image: haproxy:lts-alpine
        volumeMounts:
        - name: redis-haproxy-config-volume
          mountPath: /usr/local/etc/haproxy/haproxy.cfg
          subPath: haproxy.cfg
        ports:
        - containerPort: 6379
      volumes:
      - name: redis-haproxy-config-volume
        configMap:
          name: redis-haproxy-config
          items:
          - key: haproxy.cfg
            path: haproxy.cfg

apiVersion: apps/v1

kind: Deployment

metadata:

namespace: redis

labels:

app: redis-haproxy

spec:

replicas: 2

selector:

matchLabels:

app: redis-haproxy

template:

metadata:

labels:

app: redis-haproxy

spec:

containers:

- name: redis-haproxy

image: haproxy:lts-alpine

volumeMounts:

- name: redis-haproxy-config-volume

mountPath: /usr/local/etc/haproxy/haproxy.cfg

subPath: haproxy.cfg

ports:

- containerPort: 6379

volumes:

- name: redis-haproxy-config-volume

configMap:

items:

- key: haproxy.cfg

path: haproxy.cfg

[root@prod-vsrv-kubemaster1 redis]# cat service-haproxy-redis.yaml

apiVersion: v1
kind: Service
metadata:
  name: redis-haproxy-balancer
  namespace: redis
spec:
  type: ClusterIP
  selector:
    app: redis-haproxy
  ports:
  - port: 6379
    targetPort: 6379

apiVersion: v1

kind: Service

metadata:

namespace: redis

spec:

type: ClusterIP

selector:

app: redis-haproxy

ports:

- port: 6379

targetPort: 6379

Всё, можно запускать

cd ../
helm install redis-cluster redis/ -f redis/values.yaml -n redis

[root@prod-vsrv-kubemaster1 redis]# kubectl create configmap redis-haproxy-config --from-file=redis/haproxy.cfg -n redis
[root@prod-vsrv-kubemaster1 redis]# kubectl apply -f redis/deployment-haproxy-redis.yaml -f redis/service-haproxy-redis.yaml

Посмотреть пароль можно командой:
kubectl get secret --namespace redis redis-password -o jsonpath="{.data.redis-password}" | base64 --decode

Подключаться к сервису можно командой:

redis-cli -h redis-cluster -p 6379 -a $REDIS_PASSWORD # Read only operations
redis-cli -h redis-cluster -p 26379 -a $REDIS_PASSWORD # Sentinel access

Подключаться из вне можно командой:

redis-cli -h 127.0.0.1 -p 6379 -a $REDIS_PASSWORD

Прокидываем порт наружу:
[root@prod-vsrv-kubemaster1 redis]# cat /root/ConfigMap.yml

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp-services
  namespace: ingress-nginx
data:
  5050: "m-logstash-megabuilder/logstash-logstash:5044"
  5672: "rabbitmq/rabbitmq:5672"
  6379: "redis/redis-haproxy-balancer:6379"

apiVersion: v1

kind: ConfigMap

metadata:

namespace: ingress-nginx

data:

5050: "m-logstash-megabuilder/logstash-logstash:5044"

5672: "rabbitmq/rabbitmq:5672"

6379: "redis/redis-haproxy-balancer:6379"

Доступ изнутри будет выглядеть вот так:

redis-cluster-headless.redis.svc.test.local:6379

теперь поставим дашборд

git clone https://github.com/joeferner/redis-commander.git

нас интересует:

https://github.com/joeferner/redis-commander/tree/master/k8s/helm-chart

правим файл:

redis-commander/values.yaml

указываем параметры подключения пароль и хост:

redis:
  # Specifies a single Redis host
  host: "redis-cluster-headless.redis.svc.test.local"

  # Specifies redis password
  password: "password-for-redis-cluster-Asergsdg2345KHJ"

redis:

# Specifies a single Redis host

host: "redis-cluster-headless.redis.svc.test.local"

# Specifies redis password

password: "password-for-redis-cluster-Asergsdg2345KHJ"

настраиваем базовую авторизацию:

httpAuth:
  # Specify http basic username and password to protect access to redis commander web ui
  username: "admin"
  password: "admin"

httpAuth:

# Specify http basic username and password to protect access to redis commander web ui

username: "admin"

password: "admin"

хост ingress

ingress:
  enabled: true
  annotations: {}
    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  hosts:
    - host: redis.prod.test.ru
      paths: ["/"]

ingress:

enabled: true

annotations: {}

# kubernetes.io/ingress.class: nginx

# kubernetes.io/tls-acme: "true"

hosts:

- host: redis.prod.test.ru

paths: ["/"]

ну и всё устанавливаем его:
helm upgrade --install redis-web -n redis --values redis-commander/values.yaml redis-commander/

Centos

kubernetes - run redis (Replica)

Dashboard + пароль в секретах.

https://github.com/midnight47/

Апрель 2023
Пн	Вт	Ср	Чт	Пт	Сб	Вс
					1	2
3	4	5	6	7	8	9
10	11	12	13	14	15	16
17	18	19	20	21	22	23
24	25	26	27	28	29	30