MongoDB. Шардированный кластер и Replica Set

Thank you for reading this post, don't forget to subscribe!

В нашей конфигурации мы будем использовать следующую схему:

Более универсальной схемой будет считаться следующая, она предполагает отказоустойчивость:

Начнем с установки mongodb демонов на сервера, будем использовать для этого официальную документацию

https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/

config первого CFG реплика сет сервера для mongo

systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongod.log
 
storage:
  dbPath: /var/lib/mongo
  journal:
    enabled: true
 
processManagement:
  fork: true
  pidFilePath: /var/run/mongodb/mongod.pid
  timeZoneInfo: /usr/share/zoneinfo
 
net:
  port: 27017
  bindIp: mongos-cfg1
 
replication:
   oplogSizeMB: 10240
   replSetName: "replconfig01"
 
sharding:
   clusterRole: configsvr

systemLog:

destination: file

logAppend: true

path: /var/log/mongodb/mongod.log

storage:

dbPath: /var/lib/mongo

journal:

enabled: true

processManagement:

fork: true

pidFilePath: /var/run/mongodb/mongod.pid

timeZoneInfo: /usr/share/zoneinfo

net:

port: 27017

bindIp: mongos-cfg1

replication:

oplogSizeMB: 10240

replSetName: "replconfig01"

sharding:

clusterRole: configsvr

Для остальных двух cfg серверов все по аналогии, меняем только bindIP.

Также стоит обратить внимание, что все ноды были описаны предварительно в /etc/hosts и файл hosts разлит на все ноды.

192.168.1.2 mongos
192.168.1.3 mongos-cfg1
192.168.1.4 mongos-cfg2
192.168.1.5 mongos-cfg3
192.168.1.6 dbstore1
192.168.1.7 dbstore2
192.168.1.8 dbstore3

Подключаемся к нашему первому серверу mongos-cfg1 и делаем репликасет

mongo --host mongos-cfg1 --port 27017

выполняем:

rs.initiate(
  {
    _id: "replconfig01",
    configsvr: true,
    members: [
      { _id : 0, host : "mongos-cfg1:27017" },
      { _id : 1, host : "mongos-cfg2:27017" },
      { _id : 2, host : "mongos-cfg3:27017" }
    ]
  }
)

rs.initiate(

{

_id: "replconfig01",

configsvr: true,

members: [

{ _id : 0, host : "mongos-cfg1:27017" },

{ _id : 1, host : "mongos-cfg2:27017" },

{ _id : 2, host : "mongos-cfg3:27017" }

]

}

)

В выводе «ок»: 1 — означает успешное выполнение нашей предыдущей команды.

Проверяем состояние всех трех серверов, должен быть 1 Primary и 2 Secondary, команды для проверки состояния:

rs.isMaster()
rs.status()
Сконфигурируем наши сторейджи для монги, конфиг такой

systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongod.log
 
storage:
  dbPath: /opt/mongo
  directoryPerDB: true
  journal:
    enabled: true
 
processManagement:
  fork: true
  pidFilePath: /var/run/mongodb/mongod.pid
  timeZoneInfo: /usr/share/zoneinfo
 
net:
  port: 27017
  bindIp: dbstore1
 
sharding:
   clusterRole: shardsvr

systemLog:

destination: file

logAppend: true

path: /var/log/mongodb/mongod.log

storage:

dbPath: /opt/mongo

directoryPerDB: true

journal:

enabled: true

processManagement:

fork: true

pidFilePath: /var/run/mongodb/mongod.pid

timeZoneInfo: /usr/share/zoneinfo

net:

port: 27017

bindIp: dbstore1

sharding:

clusterRole: shardsvr

Для каталога хранения данных mongo указанной dbPath проверим/установим верного владельца:

chown -R mongod:mongod /opt/mongo/
Запускаем сервисы, проверяем, что порт 27017 слушают нужные нам демоны.

Последние и самое интересное, настройка mongos — роутера всех запросов в наш будущий кластер.

После того, как на будущий роутер установлен пакет mongod, создадим service файл для того, чтобы mongos запускался автоматически

!!! Непосредственно mongod сервис должен быть остановлен и исключен из автозапуска !!!

nano /etc/systemd/system/mongos.service

[Unit]
Description=High-performance, schema-free document-oriented database
After=network.target
Documentation=https://docs.mongodb.org/manual
 
[Service]
Type=forking
User=root
Group=root
ExecStart=/usr/bin/mongos -f /etc/mongos.conf
PIDFile=/var/run/mongos.pid
LimitFSIZE=infinity
LimitCPU=infinity
LimitAS=infinity
LimitNOFILE=64000
LimitNPROC=64000
LimitMEMLOCK=infinity
TasksMax=infinity
TasksAccounting=false
 
[Install]
WantedBy=multi-user.target

[Unit]

Description=High-performance, schema-free document-oriented database

After=network.target

Documentation=https://docs.mongodb.org/manual

[Service]

Type=forking

User=root

Group=root

ExecStart=/usr/bin/mongos -f /etc/mongos.conf

PIDFile=/var/run/mongos.pid

LimitFSIZE=infinity

LimitCPU=infinity

LimitAS=infinity

LimitNOFILE=64000

LimitNPROC=64000

LimitMEMLOCK=infinity

TasksMax=infinity

TasksAccounting=false

[Install]

WantedBy=multi-user.target

Выполним команду для обновление списка сервисов

systemctl daemon-reload

systemctl enable mongos
Наш конфигурационный файл для mongos /etc/mongos.conf будет следующим:

systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongos.log
 
processManagement:
  fork: true
  pidFilePath: /var/run/mongos.pid
  timeZoneInfo: /usr/share/zoneinfo
 
net:
  port: 27017
  bindIp: 0.0.0.0
  maxIncomingConnections: 20000
 
sharding:
  configDB: "replconfig01/mongos-cfg1:27017,mongos-cfg2:27017,mongos-cfg3:27017"

systemLog:

destination: file

logAppend: true

path: /var/log/mongodb/mongos.log

processManagement:

fork: true

pidFilePath: /var/run/mongos.pid

timeZoneInfo: /usr/share/zoneinfo

net:

port: 27017

bindIp: 0.0.0.0

maxIncomingConnections: 20000

sharding:

configDB: "replconfig01/mongos-cfg1:27017,mongos-cfg2:27017,mongos-cfg3:27017"

Запускаем mongos сервис

systemctl start mongos
Проверяем, что работает

# netstat -ntupl | grep mongos
tcp 0 0 0.0.0.0:27017 0.0.0.0:* LISTEN 3570/mongos
Также в логе /var/log/mongodb/mongos.log должны быть строки с успешным подключением к нашему config replicaset mongo

Successfully connected to mongos-cfg1:27017
Successfully connected to mongos-cfg2:27017
Successfully connected to mongos-cfg3:27017
Последний штрих, регистрация наших mongo shard серверов в mongos роутере

На сервере mongos, подключаемся к нашему кластеру:

mongo --host mongos --port 27017
и добавляем наши shard сервера

sh.addShard( "dbstore1:27017")
sh.addShard( "dbstore2:27017")
sh.addShard( "dbstore3:27017")
Перейдем к практике. Сгенерируем данные и сделаем им шардированние.

Сгенерировать данные можно следующем способом

Создаем базу данных в mongo (на сервере mongos) и заходим в нее, далее выполним несколько команд чтобы сгенерировать 1 000 000 документов.

var day = 1000 * 60 * 60 * 24;
var randomDate = function () {return new Date(Date.now() - (Math.floor(Math.random() * day)));}
var randomName = function() {return (Math.random()+1).toString(36).substring(2);}
for (var i = 1; i &lt;= 1000000; ++i) {db.lemp.insert({name: randomName(), creationDate: randomDate(), uid: i});}

var day = 1000 * 60 * 60 * 24;

var randomDate = function () {return new Date(Date.now() - (Math.floor(Math.random() * day)));}

var randomName = function() {return (Math.random()+1).toString(36).substring(2);}

for (var i = 1; i <= 1000000; ++i) {db.lemp.insert({name: randomName(), creationDate: randomDate(), uid: i});}

После того как данные сгенерированны, надо сделать индекс шардирорвания.

Например, коллекция lemp уже содержит сгенерированные данные по примеру чуть выше.

mongos> show dbs

admin 0.000GB

config 0.002GB

lemp 0.433GB

1	mongos> use lemp

Для начала включаем шардирование для определенной коллекции

1	mongos> sh.enableSharding("lemp")

Проверем, что шардинг включился, команда sh.status() должна отоброзить в переменных статуса коллекции «partitioned» : true

...

{ "_id" : "lemp", "primary" : "shard0001", "partitioned" : true, "version" : { "uuid" : UUID("e0cb2b29-8028-455a-979c-386821998b16"), "lastMod" : 1 } }

...

Визуальное представление наших документов в коллекции

mongos> show collections
lemp
stack
В lemp для lemp будем строить хешированный индекс по полю id, не сильно удачно были сгенерированы данные для примера, но постараемся не запутаться.

Создаем индекс

mongos> db.lemp.createIndex({_id:"hashed"},{background:true})
Выполняем шардирование

mongos> sh.shardCollection("lemp.lemp",{"_id":"hashed"})
После данной команды должен запуститься балансировщик и чанки (chunks — части данных распределяющиеся между шардами) будут перемещаться по шардам

На скрине ниже, видно наличие 11 чанков распределенных по 3 шардам, 5 6 и 5 соответственно шардам 0000, 0001 и 0002

В данном примере в lemp содержится 5 000 000 документов распределенных между 3 шардами

Также в качестве замечания не стоит забывать про тюнинг самой ОС на которой будет находиться кластер.

Для mongo рекомендуется выбирать XFS

Настройки sysctl следующие

net.core.somaxconn = 4096
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_max_syn_backlog = 4096
vm.swappiness = 1
Не забываем синхронизировать время — устанавливаем ntp

А также изменить /sys/kernel/mm/transparent_hugepage/enabled с always на never

transparent_hugepage=never

в centos7 сделал делаем через tuned

Устанавливаем tuned

yum install tuned
nano /etc/tuned/no-thp/tuned.conf

[main]
include=virtual-guest
 
[vm]
transparent_hugepages=never

[main]

include=virtual-guest

[vm]

transparent_hugepages=never

И активируем данные профайл

~# tuned-adm profile no-thp

Пн	Вт	Ср	Чт	Пт	Сб	Вс
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

Centos

MongoDB. Шардированный кластер и Replica Set

https://github.com/midnight47/