MySQL InnoDB кластер. Установка и настройка. Подключение MySQL роутера

Thank you for reading this post, don't forget to subscribe!

MySQL InnoDB кластер

Начнем установку, будем использовать 3 сервера для непосредственно mysql и 1 сервер для подключения к нашему кластеру — mysql роутер.

сервера для mysql

10.10.10.1
10.10.10.2
10.10.10.3

и сервер для роутера

10.10.10.10
OS Centos 7 c выключенный selinux и firewalld. Mysql будем использовать версии 5.7

Подключаем репозиторий

rpm -i https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm
выключаем 8 версию и включаем 5.7

yum install yum-utils
yum-config-manager --disable mysql80-community
yum-config-manager --enable mysql57-community
yum repolist
yum install mysql-community-server mysql-shell

Правим /etc/my.cnf

[mysqld]
 
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
 
symbolic-links=0
 
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 
bind-address=0.0.0.0
port=3301
# Replication part
server_id=1
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
binlog_checksum=NONE
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW
plugin-load = group_replication.so
# Group replication part
transaction_write_set_extraction=XXHASH64
loose-group_replication_start_on_boot = OFF
loose-group_replication_local_address = 10.10.10.1:33011
loose-group_replication_bootstrap_group = OFF
report_port = 3301
report_host = 10.10.10.1

[mysqld]

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

symbolic-links=0

log-error=/var/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

bind-address=0.0.0.0

port=3301

# Replication part

server_id=1

gtid_mode=ON

enforce_gtid_consistency=ON

master_info_repository=TABLE

relay_log_info_repository=TABLE

binlog_checksum=NONE

log_slave_updates=ON

log_bin=binlog

binlog_format=ROW

plugin-load = group_replication.so

# Group replication part

transaction_write_set_extraction=XXHASH64

loose-group_replication_start_on_boot = OFF

loose-group_replication_local_address = 10.10.10.1:33011

loose-group_replication_bootstrap_group = OFF

report_port = 3301

report_host = 10.10.10.1

Mysql вешаем на порт 3301.
На порту 33011 будет происходить обмен данными между серверами кластера.

Файл /etc/my.cnf мы приводим к такому виду на всех трех серверах кластера, меняем IP в переменных loose-group_replication_local_address и report_host, а также изменяем server_id — для каждого сервера уникальный.

Запускаем mysql, проводим первоначальную настройку.

systemctl start mysqld

grep 'password' /var/log/mysqld.log

mysql_secure_installation

Начнем создание кластера, для начало создадим на всех 3-х серверах пользователя cladmin, для это воспользуемся консоль mysqlsh

[root@10.10.10.1 ~] mysqlsh

> \c 127.0.0.1:3301

> dba.configureLocalInstance("127.0.0.1:3301", {mycnfPath: "/etc/my.cnf", clusterAdmin: "cladmin", clusterAdminPassword: "StrongPassword!#1"})

> \c cladmin@10.10.10.1:3301

> dba.checkInstanceConfiguration()

> cl=dba.createCluster('TestCluster', {ipWhitelist: '10.10.10.1,10.10.10.2,10.10.10.3'})

> dba.configureLocalInstance()

> cl.status()

Вывод cl.status() примерно должен быть таким

MySQL  10.10.10.1:3301 ssl  JS &gt; cluster.status()
{
    "clusterName": "TestCluster",
    "defaultReplicaSet": {
        "name": "default",
        "primary": "10.10.10.1:3301",
        "ssl": "REQUIRED",
        "status": "OK_NO_TOLERANCE",
        "statusText": "Cluster is NOT tolerant to any failures.",
        "topology": {
            "10.10.10.1:3301": {
                "address": "10.10.10.1:3301",
                "mode": "R/W",
                "readReplicas": {},
                "role": "HA",
                "status": "ONLINE"
            }
        },
        "topologyMode": "Single-Primary"
    },
    "groupInformationSourceMember": "mysql://cladmin@10.10.10.1:3301"
}

MySQL 10.10.10.1:3301 ssl JS > cluster.status()

{

"clusterName": "TestCluster",

"defaultReplicaSet": {

"name": "default",

"primary": "10.10.10.1:3301",

"ssl": "REQUIRED",

"status": "OK_NO_TOLERANCE",

"statusText": "Cluster is NOT tolerant to any failures.",

"topology": {

"10.10.10.1:3301": {

"address": "10.10.10.1:3301",

"mode": "R/W",

"readReplicas": {},

"role": "HA",

"status": "ONLINE"

}

"topologyMode": "Single-Primary"

"groupInformationSourceMember": "mysql://cladmin@10.10.10.1:3301"

}

Когда вносим изменения в конфигураию кластера, обязательно выполняем команду

> dba.configureLocalInstance()
Аналогичные действия выполняем на всех 3-х серверах, не забываем прописать верные IP и ID в /etc/my.cnf (server_id, loose-group_replication_local_address, report_host)

После того как предыдущие шаги выполнены на нодах которые мы подключаем (2-й и 3-й сервер в нашем примере), выполняем

[root@10.10.10.2 ~] mysql -p
> set GLOBAL group_replication_allow_local_disjoint_gtids_join=ON;

[root@10.10.10.2 ~] mysqlsh

> \c 127.0.0.1:3301

> dba.configureLocalInstance("127.0.0.1:3301", {mycnfPath: "/etc/my.cnf", clusterAdmin: "cladmin", clusterAdminPassword: "StrongPassword!#1"})

> \c cladmin@10.10.10.2:3301

> dba.checkInstanceConfiguration()

После данной процедуры на втором сервере, возвращаемся на первый сервер

[root@10.10.10.1 ~] mysqlsh --uri cladmin@1.1.1.1:3301 --cluster

> cluster.addInstance('cladmin@10.10.10.2:3301', {ipWhitelist: '10.10.10.1,10.10.10.2,10.10.10.3'})

> cluster.status()

> dba.configureLocalInstance()

Также выполняем dba.configureLocalInstance() на втором сервере !!!

Вывод cluster.status() должен стать примерно таким

{
    "clusterName": "TestCluster",
    "defaultReplicaSet": {
        "name": "default",
        "primary": "10.10.10.1:3301",
        "ssl": "REQUIRED",
        "status": "OK_NO_TOLERANCE",
        "statusText": "Cluster is NOT tolerant to any failures.",
        "topology": {
            "10.10.10.1:3301": {
                "address": "10.10.10.1:3301",
                "mode": "R/W",
                "readReplicas": {},
                "role": "HA",
                "status": "ONLINE"
            },
            "1.1.1.2:3301": {
                "address": "10.10.10.2:3301",
                "mode": "R/O",
                "readReplicas": {},
                "role": "HA",
                "status": "ONLINE"
            }
        },
        "topologyMode": "Single-Primary"
    },
    "groupInformationSourceMember": "mysql://cladmin@10.10.10.1:3301"
}

{

"clusterName": "TestCluster",

"defaultReplicaSet": {

"name": "default",

"primary": "10.10.10.1:3301",

"ssl": "REQUIRED",

"status": "OK_NO_TOLERANCE",

"statusText": "Cluster is NOT tolerant to any failures.",

"topology": {

"10.10.10.1:3301": {

"address": "10.10.10.1:3301",

"mode": "R/W",

"readReplicas": {},

"role": "HA",

"status": "ONLINE"

"1.1.1.2:3301": {

"address": "10.10.10.2:3301",

"mode": "R/O",

"readReplicas": {},

"role": "HA",

"status": "ONLINE"

}

"topologyMode": "Single-Primary"

"groupInformationSourceMember": "mysql://cladmin@10.10.10.1:3301"

}

По аналогичной схеме добавим 3-й сервер.

Если в будущем мы планируем расширить кластер до 5 или более серверов, нам надо будет отредактировать whitelist, это можно сделать через mysqlsh перейдя в sql режим или напрямую в /etc/my.cnf (не забыть перезагрузить демоны mysql).

Пример как сделать используя консоль mysqlsh (поочередно на каждой из RW нод):

[root@10.10.10.1 ~] mysqlsh --uri cladmin@10.10.10.1:3301 --cluster
> \sql
> STOP GROUP_REPLICATION;
> SET GLOBAL group_replication_ip_whitelist="10.10.10.1,10.10.10.2,10.10.10.3,10.10.10.4,10.10.10.5";
> START GROUP_REPLICATION;

После добавления всех 3 серверов cluster.status() будет возвращать следующее:

[root@10.10.10.1 ~] mysqlsh --uri cladmin@10.10.10.1:3301 --cluster
MySQL  10.10.10.1:3301 ssl  JS &gt; cluster.status()
{
    "clusterName": "TestCluster",
    "defaultReplicaSet": {
        "name": "default",
        "primary": "10.10.10.1:3301",
        "ssl": "REQUIRED",
        "status": "OK",
        "statusText": "Cluster is ONLINE and can tolerate up to ONE failure.",
        "topology": {
            "10.10.10.1:3301": {
                "address": "10.10.10.1:3301",
                "mode": "R/W",
                "readReplicas": {},
                "role": "HA",
                "status": "ONLINE"
            },
            "10.10.10.2:3301": {
                "address": "10.10.10.2:3301",
                "mode": "R/O",
                "readReplicas": {},
                "role": "HA",
                "status": "ONLINE"
            },
            "10.10.10.3:3301": {
                "address": "10.10.10.3:3301",
                "mode": "R/O",
                "readReplicas": {},
                "role": "HA",
                "status": "ONLINE"
            }
        },
        "topologyMode": "Single-Primary"
    },
    "groupInformationSourceMember": "10.10.10.1:3301"
}

[root@10.10.10.1 ~] mysqlsh --uri cladmin@10.10.10.1:3301 --cluster

MySQL 10.10.10.1:3301 ssl JS > cluster.status()

{

"clusterName": "TestCluster",

"defaultReplicaSet": {

"name": "default",

"primary": "10.10.10.1:3301",

"ssl": "REQUIRED",

"status": "OK",

"statusText": "Cluster is ONLINE and can tolerate up to ONE failure.",

"topology": {

"10.10.10.1:3301": {

"address": "10.10.10.1:3301",

"mode": "R/W",

"readReplicas": {},

"role": "HA",

"status": "ONLINE"

"10.10.10.2:3301": {

"address": "10.10.10.2:3301",

"mode": "R/O",

"readReplicas": {},

"role": "HA",

"status": "ONLINE"

"10.10.10.3:3301": {

"address": "10.10.10.3:3301",

"mode": "R/O",

"readReplicas": {},

"role": "HA",

"status": "ONLINE"

}

"topologyMode": "Single-Primary"

"groupInformationSourceMember": "10.10.10.1:3301"

}

Если кластер развалится до состояния одного сервера, его надо будет запускать с параметром loose-group_replication_bootstrap_group = ON в /etc/my.cnf
После запуска параметр надо будет выключить обратно, в противном случаи этот сервер всегда будет отделяться от кластера и работать самостоятельно.

Настройка Mysql роутера.
Добавим репу и поставим пакет

[root@mysql-router ~] rpm -i https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm
[root@mysql-router ~] yum install mysql-router
Создаем каталог для конфигурационных файлов нашего кластера:

[root@mysql-router ~] mkdir /etc/mysqlrouter/mysql-router
Настройку будем делать с помощью bootstrap, при указании IP адреса, необходимо указать адрес текущего RW сервера

[root@mysql-router ~] mysqlrouter --bootstrap cladmin@10.10.10.1:3301 --directory /etc/mysqlrouter/mysql-router --user=root

Результат успешной конфигурации, вывод:

Reconfiguring MySQL Router instance at '/etc/mysqlrouter/mysql-router'...
Checking for old Router accounts
Creating account mysql_router1_yxkccoosbuoc@'%'
MySQL Router  has now been configured for the InnoDB cluster 'TestCluster'.
 
The following connection information can be used to connect to the cluster after MySQL Router has been started with generated configuration..
 
Classic MySQL protocol connections to cluster 'TestCluster':
- Read/Write Connections: localhost:6446
- Read/Only Connections: localhost:6447
X protocol connections to cluster 'TestCluster':
- Read/Write Connections: localhost:64460
- Read/Only Connections: localhost:64470

Reconfiguring MySQL Router instance at '/etc/mysqlrouter/mysql-router'...

Checking for old Router accounts

Creating account mysql_router1_yxkccoosbuoc@'%'

MySQL Router has now been configured for the InnoDB cluster 'TestCluster'.

The following connection information can be used to connect to the cluster after MySQL Router has been started with generated configuration..

Classic MySQL protocol connections to cluster 'TestCluster':

- Read/Write Connections: localhost:6446

- Read/Only Connections: localhost:6447

X protocol connections to cluster 'TestCluster':

- Read/Write Connections: localhost:64460

- Read/Only Connections: localhost:64470

Порт 6446 — для подключений RW
Порт 6447 — для подключений RO

Создадим systemd service файл чтобы запускать mysql роутер с нашими сгенерированными конфигурационными файлами

[root@mysql-router ~] nano /etc/systemd/system/mysqlrouter-cluster.service

[Unit]
Description=MySQL Router
After=syslog.target
After=network.target
 
[Service]
Type=simple
User=root
Group=root
PIDFile=/etc/mysqlrouter/mysql-router/mysqlrouter.pid
ExecStart=/bin/bash -c "/usr/bin/mysqlrouter -c /etc/mysqlrouter/mysql-router/mysqlrouter.conf"
 
Restart=on-failure
RestartPreventExitStatus=1
PrivateTmp=true
 
[Install]
WantedBy=multi-user.target

[Unit]

Description=MySQL Router

After=syslog.target

After=network.target

[Service]

Type=simple

User=root

Group=root

PIDFile=/etc/mysqlrouter/mysql-router/mysqlrouter.pid

ExecStart=/bin/bash -c "/usr/bin/mysqlrouter -c /etc/mysqlrouter/mysql-router/mysqlrouter.conf"

Restart=on-failure

RestartPreventExitStatus=1

PrivateTmp=true

[Install]

WantedBy=multi-user.target

Включим в автозагрузку и запустим наш роутер:

systemctl daemon-reload
systemctl start mysqlrouter-cluster
systemctl status mysqlrouter-cluster

Проверяем

[root@mysql-router ~] netstat -ntupl
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:64460           0.0.0.0:*               LISTEN      16645/mysqlrouter
tcp        0      0 0.0.0.0:6446            0.0.0.0:*               LISTEN      16645/mysqlrouter
tcp        0      0 0.0.0.0:6447            0.0.0.0:*               LISTEN      16645/mysqlrouter
tcp        0      0 0.0.0.0:64470           0.0.0.0:*               LISTEN      16645/mysqlrouter

[root@mysql-router ~] netstat -ntupl

Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name

tcp 0 0 0.0.0.0:64460 0.0.0.0:* LISTEN 16645/mysqlrouter

tcp 0 0 0.0.0.0:6446 0.0.0.0:* LISTEN 16645/mysqlrouter

tcp 0 0 0.0.0.0:6447 0.0.0.0:* LISTEN 16645/mysqlrouter

tcp 0 0 0.0.0.0:64470 0.0.0.0:* LISTEN 16645/mysqlrouter

Пн	Вт	Ср	Чт	Пт	Сб	Вс
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30

https://github.com/midnight47/