Thank you for reading this post, don't forget to subscribe!

Добавление OSD. Дополнительный диск.

Вы долж­ны пом­нить, что с каж­дым физи­че­ским дис­ком в кла­сте­ре ceph будет свя­зан свой отдель­ный демон OSD.

Добав­лять диск, а сле­до­ва­тель­но и OSD, мож­но как в суще­ству­ю­щую ноду, кото­рая уже в кла­сте­ре, так и новую ноду. Крат­ко напом­ню, что новую ноду OSD (без мони­то­ра демо­на) вы лег­ко доба­ви­те в кла­стер после При­го­то­ви­тель­ных про­це­дур, раз­мет­ки ново­го дис­ка из раз­де­ла OSD (object storage daemon) и команд

(ceph6 - имя_ноды_OSD_без_функций_монитора для примера)
ceph-deploy install --release mimic ceph6

ceph-deploy --overwrite-conf osd prepare ceph6:/mnt/disk1/
ceph-deploy --overwrite-conf osd activate ceph6:/mnt/disk1/


Две коман­ды prepare и activate мож­но заме­нить на одну коман­ду create. Если дис­ков несколь­ко, то для каж­до­го нуж­но повто­рить коман­ды. Не забудь­те отра­зить ваши изме­не­ния в фай­ле /my-cluster/ceph.conf и рас­ти­ра­жи­ро­вать новый конф сре­ди нод кластера.

ceph osd tree долж­на пока­зать, что ваша новая нода ceph6 и osd на ней вид­ны в кар­тах кластера.

Удаление OSD.

К сожа­ле­нию, пока ceph-deploy не помо­жет вам с уда­ле­ни­ем OSD и нуж­но уда­лить в руч­ную упо­ми­на­ние об OSD в картах.

Пред­ста­вим, что мы уда­ля­ем дис­ки из кла­сте­ра, кото­рые обла­да­ют име­на­ми osd.7 и osd.8 (для при­ме­ра). Про­верь­те коман­дой ceph osd tree. Если наши дис­ки "не сло­ма­лись" в одно­ча­сье, а писа­ли нам отчё­ты SMART о сво­ём пло­хом пове­де­нии, то мы реши­ли уда­лить их из кла­сте­ра зара­нее, что­бы потом доба­вить новые, рабо­то­спо­соб­ные диски.

Нахо­дясь на админ­ской ноде и в ката­ло­ге /my-cluster, коман­ду­ем дан­ным убрать­ся с дис­ков в фор­ма­те ceph osd out {osd-чис­ло}
ceph osd out 7
ceph osd out 8

Коман­ду­ем ceph -w и смот­рим, что ceph начал делать балан­си­ров­ку дан­ных. Когда он закон­чит и кла­стер ста­нет active+clean, то это будет озна­чать, что дан­ные мигри­ро­ва­ли на дру­гие OSD.

На той ноде, где физи­че­ски нахо­дят­ся наши уда­ля­е­мые дис­ки 7 и 8, нуж­но оста­но­вить демо­нов OSD. Если у вас систе­ма ини­ци­а­ли­за­ции Upstart, то

/etc/init.d/ceph stop osd.7
/etc/init.d/ceph stop osd.8


 

Всех демо­нов OSD мож­но оста­но­вить коман­дой stop ceph-osd-all

Уда­ля­ем из CRUSH в фор­ма­те ceph osd crush remove {name}
ceph osd crush remove osd.7
ceph osd crush remove osd.8

 

Уда­ля­ем аутен­ти­фи­ка­ци­он­ные клю­чи в фор­ма­те ceph auth del osd.{osd-число}
ceph auth del osd.7
ceph auth del osd.8

 

Уда­ля­ем OSD в фор­ма­те ceph osd rm {osd-число}
ceph osd rm 7
ceph osd rm 8

Поправь­те кон­фи­гу­ра­ци­он­ный файл, отоб­ра­зив изме­не­ния, и рас­ти­ра­жи­руй­те новый конф сре­ди нод кластера.

Коман­ды ceph -w и ceph osd tree долж­ны отоб­ра­жать акту­аль­ное состо­я­ние без ваших уда­лён­ных OSD.