Thank you for reading this post, don't forget to subscribe!

Основные термины

OSD (Object Storage Daemon) - устрой­ство хра­не­ния объ­ек­тов в Ceph. Обра­ба­ты­ва­ет такие состо­я­ния PG как replication, recovery, backfilling, rebalancing. Так же предо­став­ля­ет инфор­ма­цию для мони­то­рин­га Ceph. Как пра­ви­ло, один демон OSD соот­вет­ству­ет одно­му физи­че­ско­му диску.

Mon (Monitor) - отсле­жи­ва­ет состо­я­ние все­го кла­сте­ра путём хра­не­ния кар­ты состо­я­ния кла­сте­ра, вклю­чая кар­ты OSD, PG и CRUSH.

MDS (Metadata Server) - хра­нит мета­дан­ные фай­ло­вой систе­мы CephFS. MDS дела­ет воз­мож­ным обра­ба­ты­вать запро­сы поль­зо­ва­те­лей POSIX-фай­ло­вой систе­мы, не нагру­жая кластер.

CRUSH Map - содер­жит спи­сок OSD и buckets для объ­еди­не­ния OSD, а так же спи­сок пра­вил, кото­рые гово­рят CRUSH, как он дол­жен реп­ли­ци­ро­вать дан­ные в пулах кла­сте­ра Ceph.

Primary OSD - OSD устрой­ство, кото­рое обра­ба­ты­ва­ет запро­сы от клиентов.

Replica OSD - OSD устрой­ство, кото­рое исполь­зу­ет­ся толь­ко для созда­ния реплик от Primary OSD.

CRUSH (Controlled Replication Under Scalable Hashing) - алго­ритм, исполь­зу­ю­щий хэши­ро­ва­ние для рас­чё­та хра­не­ния и извле­че­ния дан­ных в рас­пре­де­лен­ных систе­мах на осно­ве кла­стер­но­го типа хра­не­ния. CRUSH рас­пре­де­ля­ет дан­ные по запо­ми­на­ю­щим устрой­ствам рав­но­мер­но, но псев­до­слу­чай­ным обра­зом. Рас­пре­де­ле­ние кон­тро­ли­ру­ет­ся иерар­хи­че­ской кар­той кла­сте­ра. Кар­та, кото­рую настра­и­ва­ет адми­ни­стра­тор, инфор­ми­ру­ет кла­стер о струк­ту­ре и емко­сти узлов в сети хра­не­ния дан­ных. CRUSH был раз­ра­бо­тан для Ceph, рас­пре­де­лен­но­го сете­во­го хранилища.

PG (Placement Groups) - груп­па раз­ме­ще­ния или логи­че­ская кол­лек­ция объ­ек­тов в Ceph, кото­рые реп­ли­ци­ру­ют­ся в OSD. Одна груп­па может сохра­нять дан­ные на несколь­ко OSD, в зави­си­мо­сти уров­ня слож­но­сти систе­мы. Фор­му­ла для вычис­ле­ния групп раз­ме­ще­ния для Ceph следующая:

YAML <span class="line"> (кол-во OSD * 100)</span> <span class="line">Кол-во PG = ---------------</span> <span class="line"> кол-во реплик</span> 1 2 3 <span class="line">            (кол-во OSD * 100)</span> <span class="line">Кол-во PG =  ---------------</span> <span class="line">              кол-во реплик</span>

При этом резуль­тат дол­жен быть округ­лён до бли­жай­шей сте­пе­ни двой­ки (напри­мер, по фор­му­ле = 700, после округ­ле­ния = 512).

PGP (Placement Group for Placement purpose) - груп­пы раз­ме­ще­ния для целей рас­по­ло­же­ния. Коли­че­ство долж­но быть рав­ным обще­му чис­лу групп размещения.

Pool - логи­че­ский раз­дел для хра­не­ния объ­ек­тов. Каж­дый пул содер­жит опре­де­лён­ное коли­че­ство групп раз­ме­ще­ния, кото­рые содер­жат объ­ек­ты кла­сте­ри­зо­ван­ные на OSD. Кон­цеп­ция пула обес­пе­чи­ва­ет устой­чи­вость. При созда­нии пула мож­но выбрать толь­ко один тип доступ­но­сти дан­ных - репли­ка­ции или коды уда­ле­ния. Пул при запи­си дан­ных руко­вод­ству­ет­ся набо­ра­ми пра­вил CRUSH.

RADOS (Reliable Autonomic Distributed Object Store) - без­от­каз­ное авто­ном­ное рас­пре­де­лён­ное хра­ни­ли­ще объ­ек­тов. Име­ет воз­мож­ность мас­шта­би­ро­ва­ния до одной тыся­чи устройств путем исполь­зо­ва­ния про­грамм­но­го обес­пе­че­ния на каж­дом из отдель­ных узлов хранения.

RBD (RADOS Block Device) - про­грамм­ное обес­пе­че­ние с откры­тым исход­ным кодом для хра­не­ния дан­ных на осно­ве блоч­но­го устрой­ства в рас­пре­де­лен­ных систе­мах хранения.

CephFS (Ceph File System) - фай­ло­вая систе­ма, сов­ме­сти­мая с POSIX (Portable Operating System Interface), исполь­зу­ю­щая для хра­не­ния дан­ных кла­стер Ceph. CephFS исполь­зу­ет для хра­не­ния блоч­ные устрой­ства CBD (Ceph Block Device) осно­ван­ные на RBD.

Состояния Placement Groups

• Active - в этом состо­я­нии Ceph может обра­ба­ты­вать запро­сы к этой группе.
• Backfill - ска­ни­ро­ва­ние и син­хро­ни­за­ция все­го содер­жи­мо­го PG без исполь­зо­ва­ния жур­на­ла опе­ра­ций. Это част­ный слу­чай восстановления.
• Backfill-toofull - состо­я­ние backfill в ожи­да­нии, пото­му что OSD назна­че­ния име­ет высо­кий коэф­фи­ци­ент заполнения.
• Clean - дан­ные груп­пы раз­ме­ще­ния реп­ли­ци­ро­ва­лись нуж­ное коли­че­ство раз.
• Creating - состо­я­ние созда­ния группы.
• Degraded - PG име­ет нере­п­ли­ци­ро­ван­ные данные.
• Down - отсут­ству­ет репли­ка с необ­хо­ди­мы­ми данными.
• Incomplete - состо­я­ние в кото­ром Ceph обна­ру­жил в PG отсут­ству­ю­щую инфор­ма­цию о запи­си или “боль­ные” копии объекта.
• Inconsistent - обна­ру­же­ны несо­от­вет­ствия в одной или несколь­ких репли­ках объ­ек­та в PG.
• Recovering - син­хро­ни­за­ция объ­ек­тов и их реплик.
• Repair - про­вер­ка груп­пы на несо­от­вет­ствия и вос­ста­нов­ле­ние най­ден­ных несо­от­вет­ствий, если это возможно.
• Replay - груп­па ждёт кли­ен­тов, что­бы повто­рить опе­ра­ции после крэ­ша OSD.
• Peered - состо­я­ние, в кото­ром PG не может обра­бо­тать запро­сы кли­ен­та, так как не име­ет доста­точ­но реплик объект.
• Peering - про­цесс при­ве­де­ния всех OSD одной груп­пы раз­ме­ще­ния в согла­ше­ние о состо­я­нии всех объ­ек­тов и их мета­дан­ных в этой PG.
• Remapped - PG вре­мен­но отоб­ра­жа­ет­ся в дру­гие OSD, в отли­чие от тех, что ука­за­ны в кар­ту CRUSH.
• Scrubbing - PG про­ве­ря­ет­ся на несоответствия.
• Splitting - состо­я­ние рас­щеп­ле­ния одной PG на несколь­ко PG.
• Stale - PG нахо­дит­ся в неиз­вест­ном состо­я­нии, так как мони­то­ры не полу­чи­ли обнов­ле­ния от неё и её отоб­ра­же­ние изменилось.
• Undersized - PG содер­жит мень­ше копий, чем уста­нов­лен­ный раз­мер пула.
• Wait-backfill - в оче­ре­ди на состо­я­ние backfill.

Порядок обновления Ceph

1. Мони­тор
2. OSD
3. MDS
4. Шлюз RADOS

Информационные команды

Отобразить дерево OSD

YAML <span class="line">ceph osd tree</span> 1 <span class="line">ceph osd tree</span>

Отобразить черный список клиентов

YAML <span class="line">ceph osd blacklist ls</span> 1 <span class="line">ceph osd blacklist ls</span>

Отобразить текущие значения PG и PGP

YAML <span class="line">ceph osd pool get &lt;pool-name&gt; pg_num</span> <span class="line">ceph osd pool get &lt;pool-name&gt; pgp_num</span> 1 2 <span class="line">ceph osd pool get &lt;pool-name&gt; pg_num</span> <span class="line">ceph osd pool get &lt;pool-name&gt; pgp_num</span>

Отобразить информацию о размере реплики

YAML <span class="line">$ ceph osd dump | grep size</span> <span class="line">pool 1 <span class="hljs-string">'one'</span> replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 512 pgp_num 512 last_change 435 flags hashpspool stripe_width 0</span> 1 2 <span class="line">$ ceph osd dump | grep size</span> <span class="line">pool 1 <span class="hljs-string">'one'</span> replicated size 3 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 512 pgp_num 512 last_change 435 flags hashpspool stripe_width 0</span>

Отобразить существующие пулы

YAML <span class="line">ceph osd lspools</span> 1 <span class="line">ceph osd lspools</span>

Показать карту OSD для объектов пула

YAML <span class="line">ceph osd map &lt;pool-name&gt; &lt;object-name&gt;</span> 1 <span class="line">ceph osd map &lt;pool-name&gt; &lt;object-name&gt;</span>

Проверить состояние кластера

YAML <span class="line">ceph -s</span> <span class="line">ceph health detail</span> 1 2 <span class="line">ceph -s</span> <span class="line">ceph health detail</span>

Проверить состояние кластера (live-режим)

YAML <span class="line">ceph -w</span> 1 <span class="line">ceph -w</span>

Проверить статус мониторов

YAML <span class="line">ceph mon <span class="hljs-built_in">stat</span></span> 1 <span class="line">ceph mon <span class="hljs-built_in">stat</span></span>

Проверить статус мониторов

YAML <span class="line">ceph osd <span class="hljs-built_in">stat</span></span> 1 <span class="line">ceph osd <span class="hljs-built_in">stat</span></span>

Отобразить список дисков

YAML <span class="line">ceph-disk list</span> 1 <span class="line">ceph-disk list</span>

Отобразить статистику кластера

YAML <span class="line">ceph df</span> 1 <span class="line">ceph df</span>

Отобразить список ключей авторизации

YAML <span class="line">ceph auth list</span> 1 <span class="line">ceph auth list</span>

Отобразить состояние мониторов

YAML <span class="line">ceph mon <span class="hljs-built_in">stat</span></span> <span class="line">ceph mon dump</span> 1 2 <span class="line">ceph mon <span class="hljs-built_in">stat</span></span> <span class="line">ceph mon dump</span>

Отобразить состояние кворума

YAML <span class="line">ceph quorum_status</span> 1 <span class="line">ceph quorum_status</span>

Отобразить карту CRUSH

YAML <span class="line">ceph osd crush dump</span> 1 <span class="line">ceph osd crush dump</span>

Отобразить состояние PG

YAML <span class="line">ceph pg <span class="hljs-built_in">stat</span></span> <span class="line">ceph pg dump</span> 1 2 <span class="line">ceph pg <span class="hljs-built_in">stat</span></span> <span class="line">ceph pg dump</span>

Отобразить состояние MDS

YAML <span class="line">ceph mds <span class="hljs-built_in">stat</span></span> <span class="line">ceph mds dump</span> 1 2 <span class="line">ceph mds <span class="hljs-built_in">stat</span></span> <span class="line">ceph mds dump</span>

Команды модификации кластера

Создать блочное устройство RADOS

YAML <span class="line">rbd create &lt;rbd-name&gt; --size &lt;size&gt;</span> 1 <span class="line">rbd create &lt;rbd-name&gt; --size &lt;size&gt;</span>

Изменить размер устройства RBD

YAML <span class="line">rbd resize &lt;pool-name&gt; --size &lt;size&gt; </span> 1 2 <span class="line">rbd resize &lt;pool-name&gt; --size &lt;size&gt; </span> смот­рим все rbd: rbd ls после изме­ня­ем размер: rbd resize --size 2048 monitor_influx Resizing image: 100% complete…done. Смот­рим как назы­ва­ет­ся наша rbd df -h | grep influx /dev/rbd13           1.0G  961M  916M  100% /var/lib/docker/plugins/01f2c3bdcc5ec7fc609f26a6a9c60ba613f16c45d6716b34db6c7f1c469bf780/propagated-mount/volumes/monitor_influx пере­чи­ты­ва­ем её размер: [root@bl8-swarmnode1-146-11 ~]# resize2fs /dev/rbd13 resize2fs 1.42.9 (28-Dec-2013) Filesystem at /dev/rbd13 is mounted on /var/lib/docker/plugins/01f2c3bdcc5ec7fc609f26a6a9c60ba613f16c45d6716b34db6c7f1c469bf780/propagated-mount/volumes/monitor_influx; on-line resizing required old_desc_blocks = 1, new_desc_blocks = 1 The filesystem on /dev/rbd13 is now 524288 blocks long. Всё ок, проверяем: df -h | grep influx /dev/rbd13           2.0G  961M  916M  52% /var/lib/docker/plugins/01f2c3bdcc5ec7fc609f26a6a9c60ba613f16c45d6716b34db6c7f1c469bf780/propagated-mount/volumes/monitor_influx

Установить новые значения PG и PGP для пула

YAML <span class="line">ceph osd pool <span class="hljs-built_in">set</span> &lt;pool-name&gt; pg_num &lt;size&gt;</span> <span class="line">ceph osd pool <span class="hljs-built_in">set</span> &lt;pool-name&gt; pgp_num &lt;size&gt;</span> 1 2 <span class="line">ceph osd pool <span class="hljs-built_in">set</span> &lt;pool-name&gt; pg_num &lt;size&gt;</span> <span class="line">ceph osd pool <span class="hljs-built_in">set</span> &lt;pool-name&gt; pgp_num &lt;size&gt;</span>

Создать новый пул

YAML <span class="line">ceph osd pool create &lt;pool-name&gt; &lt;pg-size&gt; &lt;pgp-size&gt;</span> 1 <span class="line">ceph osd pool create &lt;pool-name&gt; &lt;pg-size&gt; &lt;pgp-size&gt;</span>

Создать моментальный снепшот пула

YAML <span class="line">ceph osd pool mksnap &lt;pool-name&gt; &lt;snap-name&gt;</span> 1 <span class="line">ceph osd pool mksnap &lt;pool-name&gt; &lt;snap-name&gt;</span>

Переименовать пул

YAML <span class="line">ceph osd pool rename &lt;old-name&gt; &lt;new-name&gt;</span> 1 <span class="line">ceph osd pool rename &lt;old-name&gt; &lt;new-name&gt;</span>

Установить новый уровень репилкации (по умолчанию = 3)

YAML <span class="line">ceph osd pool <span class="hljs-built_in">set</span> &lt;pool-name&gt; size &lt;size&gt;</span> 1 <span class="line">ceph osd pool <span class="hljs-built_in">set</span> &lt;pool-name&gt; size &lt;size&gt;</span>

что­бы кон­фи­гу­ра­ция при­ме­ни­лась, необ­хо­ди­мо попра­вить кон­фиг файл на ноде отку­да про­из­во­ди­лась установка:
/var/ceph-admin/ceph.conf доба­вив строку:
osd pool default size = 2
после чего выпол­нить команду:
[ceph@node1 ceph-admin]$ ceph-deploy --overwrite-conf config push node1 node2 node3

и выпол­ним сле­ду­ю­щие команды:
[root@node1 ceph-admin]# ceph osd pool set ИМЯ_ПУЛА size 2
[root@node1 ceph-admin]# ceph osd pool set ИМЯ_ПУЛА min_size 1

после чего пере­за­пус­ка­ем все сер­ви­сы на нодах:
systemctl restart ceph\*.service
systemctl restart ceph\*.target

Так­же запускаем:
systemctl status rbdmap.service

Удалить OSD из карты CRUSH

YAML <span class="line">ceph osd crush remove &lt;name&gt;</span> 1 <span class="line">ceph osd crush remove &lt;name&gt;</span>

Удалить ключ авторизации OSD

YAML <span class="line">ceph auth del &lt;name&gt;</span> 1 <span class="line">ceph auth del &lt;name&gt;</span>

Исключить OSD из кластера

YAML <span class="line">ceph osd out &lt;name&gt;</span> 1 <span class="line">ceph osd out &lt;name&gt;</span>

Полное удаление OSD из кластера

YAML <span class="line">ceph osd rm &lt;name&gt;</span> 1 <span class="line">ceph osd rm &lt;name&gt;</span>

В иде­а­ле мы хотим, что­бы все OSD были оди­на­ко­вы­ми с точ­ки зре­ния про­из­во­ди­тель­но­сти и мощ­но­сти, но это не все­гда воз­мож­но. Когда OSD отли­ча­ют­ся по сво­им клю­че­вым атри­бу­там, исполь­зуй­те ceph osd crush reweight, что­бы изме­нить их вес в CRUSH кар­те, что­бы кла­стер был пра­виль­но сба­лан­си­ро­ван, а OSD раз­ных типов полу­чи­ли пра­виль­но настро­ен­ное коли­че­ство запро­сов ввода/вывода и данных.

YAML <span class="line">ceph osd crush reweight</span> 1 <span class="line">ceph osd crush reweight</span>

Распределение места на ceph:

Име­ет­ся кла­стер, мы делим его попо­лам с пра­ви­ла­ми дробления(crush map), 116/2 = 58, с репли­кой 4, 58/4 = 14,5. Таким обра­зом, у вас оста­ёт­ся 13 для данных.