Thank you for reading this post, don't forget to subscribe!

!важ­но hostname на масте­рах и нодах не дол­жен содер­жать в назва­нии ниж­не­го под­чёр­ки­ва­ния "_"

На всех нодах и мастерах:

Cтавим докер

Уста­нав­ли­ва­ем необ­хо­ди­мое ПО:

# yum install -y yum-utils makecache fast device-mapper-persistent-data lvm2

 

Добав­ля­ем репозиторий:

$ yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

 

Уста­нав­ли­ва­ем послед­нюю вер­сию Docker CE на CentOS:

# yum -y install docker-ce

 

Запуск Docker-а:

# systemctl start docker

добав­ля­ем в автозагрузку

# systemctl enable docker

 

Выклю­чим SELinux

# setenforce 0 && sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

 

Отклю­ча­ем SWAP

swapoff -a

в фай­ле /etc/fstab  ком­мен­ти­ру­ем строку:

#/dev/mapper/centos-swap swap                    swap    defaults        0 0

что­бы при пере­за­груз­ке свап не под­клю­чил­ся снова.

 

Про­пи­сы­ва­ем в /etc/hosts

192.168.1.172 master

192.168.1.175 node1

192.168.1.176 node2

 

cat /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

 

при­ме­ним изменения

sysctl --system

 

Доба­вим репо­зи­то­рий с kubernetes

cat /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg

 

 

 

Мастер нода

 

Ска­ча­ем ути­ли­ту kubectl

# curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl

 

Пере­не­сем файл:

chmod +x ./kubectl

mv ./kubectl /usr/local/bin/kubectl

 

выпол­ня­ем установку:

# yum install ebtables ethtool kubeadm etcd kubectl -y

 

Добав­ля­ем служ­бу в авто­за­груз­ку ОС и запус­ка­ем сервис:

systemctl enable kubelet && systemctl restart kubelet

 

в слу­чае если воз­ник­нет сле­ду­ю­щая ошибка:

Убе­ди­тесь, что и docker и kubelet исполь­зу­ют один и тот же cgroup драй­вер. Про­ще все­го сде­лать так:

cat  /etc/docker/daemon.json

{

"exec-opts": ["native.cgroupdriver=systemd"]

}

 

И пере­за­пу­стить docker командой:

service docker restart

 

Ини­ци­и­ру­ем кластер

kubeadm init

 

вывод при­мер­но такой:

[root@master-172 ~]# kubeadm init

 

если воз­ник­нут ошиб­ки ука­зы­ва­ю­щие на docker ТО:

vim /usr/lib/systemd/system/docker.service

в стро­ку

ExecStart=/usr/bin/dockerd  -H fd:// --containerd=/run/containerd/containerd.sock

добав­ля­ем --exec-opt native.cgroupdriver=systemd

по ито­гу будет иметь вид:

ExecStart=/usr/bin/dockerd  --exec-opt native.cgroupdriver=systemd -H fd:// --containerd=/run/containerd/containerd.sock

 

systemctl daemon-reload

systemctl restart docker

 

после чего повтор­но запускаем

kubeadm init

 

Вни­зу выво­да ини­ци­а­ции име­ет­ся токен, он нам пона­до­бит­ся немно­го поз­же (когда будем добав­лять ноды в кла­стер). Сохра­ни­те его! Если забы­ли или упу­сти­ли токен, мож­но посмот­реть токе­ны:

# kubeadm token list

 

Для гене­ра­ции токе­на, мож­но использовать:

# kubeadm token generate

 

Для исполь­зо­ва­ния сге­не­ри­ро­ван­но­го токе­на, слу­жит команда:

# kubeadm token create 2d4041.f36eaef929570488 --print-join-command --ttl=0

 

Уда­ля­ем токен так:

# kubeadm token delete 2d4041.f36eaef929570488

bootstrap token with id "2d4041" deleted

 

Что­бы сбро­сить все настрой­ки, используйте:

# kubeadm reset

 

PS: Так же, мож­но исполь­зо­вать:

$ kubeadm init --apiserver-advertise-address=192.168.1.172 --pod-network-cidr=10.244.0.0/16

Где:

—apiserver-advertise-address=192.168.1.172  — явно ука­зы­ва­ет масте­ру на IP адрес, кото­рый нуж­но сооб­щать кли­ен­там для подключения

—pod-network-cidr=10.244.0.0/16 исполь­зу­ет­ся для уста­нов­ки адрес­но­го про­стран­ства для ваших pod-ов в flannel.

 

Сей­час сто­ит выпол­нить настрой­ку для запус­ка кла­сте­ра от опре­де­лен­но­го пользователя

# mkdir -p $HOME/.kube && cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && chown $(id -u):$(id -g) $HOME/.kube/config

 

PS: У меня это будет поль­зо­ва­тель — root. Но для удоб­ства исполь­зо­ва­ния, мож­но создать отдель­но­го юзе­ра, напри­мер — kubernetes и выста­вить пра­ва на него:

# adduser kubernetes

# passwd kubernetes

# usermod -aG wheel kubernetes

# su - kubernetes

 

 

Сей­час, нуж­но настро­ить pod network для кластера:

# kubectl get nodes

 

С само­го нача­ла, — сеть будет не доступ­на. Выпол­ним еще проверку:

# kubectl get pods --all-namespaces

 

Что­бы ста­тус кла­сте­ра был - готов (Было все настро­е­но и так же, имел kube-dns status — running , раз­вер­ни­те сеть кон­тей­не­ра, что­бы кон­тей­не­ры раз­ных хостов обме­ни­ва­лись друг с дру­гом. Сеть POD пред­став­ля­ет собой овер­лей­ную сеть меж­ду рабо­чи­ми узла­ми. Запу­сти­те коман­ду для раз­вер­ты­ва­ния сети:

 

# export kubever=$(kubectl version | base64 | tr -d '\n')

# kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$kubever"

 

[root@master-172 ~]# kubectl get pods --all-namespaces

NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE

kube-system   coredns-fb8b8dccf-f86bc              1/1     Running   0          49m

kube-system   coredns-fb8b8dccf-hztvd              1/1     Running   0          49m

kube-system   etcd-master-172                      1/1     Running   0          47m

kube-system   kube-apiserver-master-172            1/1     Running   0          47m

kube-system   kube-controller-manager-master-172   1/1     Running   0          47m

kube-system   kube-proxy-9gflp                     1/1     Running   0          49m

kube-system   kube-scheduler-master-172            1/1     Running   0          47m

kube-system   weave-net-wtd7s                      2/2     Running   0          90s

 

Раз­лич­ные сети под­дер­жи­ва­ют­ся в k8s и зави­сят от выбо­ра поль­зо­ва­те­ля. Хочу при­ве­сти еще один при­мер с сетью, кото­рый исполь­зу­ет RBAC (Role Based Access Control), поэто­му убе­ди­тесь, что сеть, кото­рую вы соби­ра­е­тесь исполь­зо­вать, под­дер­жи­ва­ет RBAC (не про­ве­рял рабо­ту это­го сете­во­го интерфейса):

# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml

 

 

Думаю что уже все будет рабо­тать, но сто­ит пере­про­ве­рить это еще 1 раз:

# kubectl get nodes && kubectl  get pods --all-namespaces

 

Что­бы полу­чить боль­ше полез­ной инфор­ма­ции, выполните:

[root@master-172 ~]# kubectl get pods --all-namespaces -o wide

NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE     IP              NODE         NOMINATED NODE   READINESS GATES

kube-system   coredns-fb8b8dccf-f86bc              1/1     Running   0          51m     10.32.0.2       master-172   <none>           <none>

kube-system   coredns-fb8b8dccf-hztvd              1/1     Running   0          51m     10.32.0.3       master-172   <none>           <none>

kube-system   etcd-master-172                      1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-apiserver-master-172            1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-controller-manager-master-172   1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-proxy-9gflp                     1/1     Running   0          51m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-scheduler-master-172            1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   weave-net-wtd7s                      2/2     Running   0          3m54s   192.168.1.172   master-172   <none>           <none>

 

 

если исполь­зу­е­те фаер­вол, то сто­ит про­бро­сить пор­ты (при­мер для CentOS 7):

# firewall-cmd --permanent --add-port=6443/tcp

# firewall-cmd --permanent --add-port=2379-2380/tcp

# firewall-cmd --permanent --add-port=10250/tcp

# firewall-cmd --permanent --add-port=10251/tcp

# firewall-cmd --permanent --add-port=10252/tcp

# firewall-cmd --permanent --add-port=10255/tcp

# firewall-cmd --reload

# modprobe br_netfilter

# echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables

 

Поздрав­ляю, — мастер готов!

 

Настройка нод

 

если исполь­зу­е­те фаер­вол, то сто­ит про­бро­сить пор­ты (при­мер для CentOS 7):

# firewall-cmd --permanent --add-port=10250/tcp

# firewall-cmd --permanent --add-port=10255/tcp

# firewall-cmd --permanent --add-port=30000-32767/tcp

# firewall-cmd --permanent --add-port=6783/tcp

# firewall-cmd  --reload

# echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables

 

выпол­ня­ем уста­нов­ку (на всех вор­ке­рах или миньйонах):

# yum install ebtables ethtool kubeadm -y

 

Добав­ля­ем в автозагрузку

systemctl enable kubelet

 

Добав­ля­ем ноды в kubernetis kluster (мастер):

# kubeadm join --token KUBERNETES_MASTER_TOKEN KUBERNETES_MASTER_IP:6443

Где:

KUBERNETES_MASTER_TOKEN — Это токен, кото­рый слу­жит для добав­ле­ния рабо­чих нод в кластер.

KUBERNETES_MASTER_IP — Это IP само­го кубер­не­тес мастер ноды.

6443 — Порт от мастер-ноды.

 

в слу­чае ошибки:

discovery.bootstrapToken: Invalid value: "": using token-based discovery without caCertHashes can be unsafe. Set unsafeSkipCAVerification to continue

 

исполь­зу­ем пол­ный вид:

kubeadm join --token h2o5hc.sv7qcp1ynlfuyzl0 --discovery-token-ca-cert-hash sha256:042a02d94c67af76788097610eaab6937c991fc5d3866ba997fd8c49fce9dd2f 192.168.1.172:6443

 

вывод при­мер­но такой:

[root@slave2 ~]# kubeadm join --token h2o5hc.sv7qcp1ynlfuyzl0 --discovery-token-ca-cert-hash sha256:042a02d94c67af76788097610eaab6937c991fc5d3866ba997fd8c49fce9dd2f 192.168.1.172:6443

 

Для про­вер­ки рабо­то­спо­соб­но­сти создан­но­го кла­сте­ра, выполним(на мастере):

# kubectl get nodes

[root@master-172 ~]# kubectl get nodes

NAME         STATUS   ROLES    AGE     VERSION

master-172   Ready    master   173m    v1.14.2

slave2       Ready    <none>   8m48s   v1.14.2

slave3       Ready    <none>   8m13s   v1.14.2

 

Для авто­до­пол­не­ния команд, мож­но выпол­нить следующее:

$ echo "source <(kubectl completion bash)" >> ~/.bashrc

 

Как-то так!