kubernetes. установка 1 мастер 2 ноды

!важ­но hostname на масте­рах и нодах не дол­жен содер­жать в назва­нии ниж­не­го под­чёр­ки­ва­ния "_"


На всех нодах и мастерах:

Cтавим докер

Уста­нав­ли­ва­ем необ­хо­ди­мое ПО:

# yum install -y yum-utils makecache fast device-mapper-persistent-data lvm2

 

Добав­ля­ем репозиторий:

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

 

Уста­нав­ли­ва­ем послед­нюю вер­сию Docker CE на CentOS:

yum -y install docker-ce

 

Запуск Docker-а:

systemctl start docker

добав­ля­ем в автозагрузку

systemctl enable docker

 

Выклю­чим SELinux

# setenforce 0 && sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

 

Отклю­ча­ем SWAP

swapoff -a

в фай­ле /etc/fstab  ком­мен­ти­ру­ем строку:

#/dev/mapper/centos-swap swap                    swap    defaults        0 0

что­бы при пере­за­груз­ке свап не под­клю­чил­ся снова.

 

Про­пи­сы­ва­ем в /etc/hosts

192.168.1.172 master

192.168.1.175 node1

192.168.1.176 node2

 

cat /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

 

при­ме­ним изменения

sysctl --system

 

Доба­вим репо­зи­то­рий с kubernetes

cat /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg

 

 

 

Мастер нода

 

Ска­ча­ем ути­ли­ту kubectl

# curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl

 

Пере­не­сем файл:

chmod +x ./kubectl

mv ./kubectl /usr/local/bin/kubectl

 

выпол­ня­ем установку:

# yum install ebtables ethtool kubeadm etcd kubectl -y

 

Добав­ля­ем служ­бу в авто­за­груз­ку ОС и запус­ка­ем сервис:

systemctl enable kubelet && systemctl restart kubelet

 

в слу­чае если воз­ник­нет сле­ду­ю­щая ошибка:

[spoiler]

Mar  2 13:02:31 localhost systemd: kubelet.service holdoff time over, scheduling restart.

Mar  2 13:02:31 localhost systemd: Started kubelet: The Kubernetes Node Agent.

Mar  2 13:02:31 localhost systemd: Starting kubelet: The Kubernetes Node Agent…

Mar  2 13:02:31 localhost kubelet: I0302 13:02:31.294420    1907 feature_gate.go:226] feature gates: &{{} map[]}

Mar  2 13:02:31 localhost kubelet: I0302 13:02:31.294496    1907 controller.go:114] kubelet config controller: starting controller

Mar  2 13:02:31 localhost kubelet: I0302 13:02:31.294500    1907 controller.go:118] kubelet config controller: validating combination of defaults and flags

Mar  2 13:02:31 localhost kubelet: error: unable to load client CA file /etc/kubernetes/pki/ca.crt: open /etc/kubernetes/pki/ca.crt: no such file or directory

Mar  2 13:02:31 localhost systemd: kubelet.service: main process exited, code=exited, status=1/FAILURE

Mar  2 13:02:31 localhost systemd: Unit kubelet.service entered failed state.

Mar  2 13:02:31 localhost systemd: kubelet.service failed.

 

Реша­ем её сле­ду­ю­щим образом:

# kubeadm reset && systemctl restart kubelet && kubeadm init --skip-preflight-checks --pod-network-cidr=10.244.0.0/16

[/spoiler]

Убе­ди­тесь, что и docker и kubelet исполь­зу­ют один и тот же cgroup драй­вер. Про­ще все­го сде­лать так:

cat  /etc/docker/daemon.json

{

"exec-opts": ["native.cgroupdriver=systemd"]

}

 

И пере­за­пу­стить docker командой:

service docker restart

 

Ини­ци­и­ру­ем кластер

kubeadm init

 

вывод при­мер­но такой:

[root@master-172 ~]# kubeadm init

[spoiler]

[init] Using Kubernetes version: v1.14.2

[preflight] Running pre-flight checks

[WARNING Hostname]: hostname "master-172" could not be reached

[WARNING Hostname]: hostname "master-172": lookup master-172 on 8.8.8.8:53: no such host

[preflight] Pulling images required for setting up a Kubernetes cluster

[preflight] This might take a minute or two, depending on the speed of your internet connection

[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'

[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"

[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"

[kubelet-start] Activating the kubelet service

[certs] Using certificateDir folder "/etc/kubernetes/pki"

[certs] Generating "front-proxy-ca" certificate and key

[certs] Generating "front-proxy-client" certificate and key

[certs] Generating "ca" certificate and key

[certs] Generating "apiserver" certificate and key

[certs] apiserver serving cert is signed for DNS names [master-172 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.1.172]

[certs] Generating "apiserver-kubelet-client" certificate and key

[certs] Generating "etcd/ca" certificate and key

[certs] Generating "etcd/server" certificate and key

[certs] etcd/server serving cert is signed for DNS names [master-172 localhost] and IPs [192.168.1.172 127.0.0.1 ::1]

[certs] Generating "etcd/peer" certificate and key

[certs] etcd/peer serving cert is signed for DNS names [master-172 localhost] and IPs [192.168.1.172 127.0.0.1 ::1]

[certs] Generating "etcd/healthcheck-client" certificate and key

[certs] Generating "apiserver-etcd-client" certificate and key

[certs] Generating "sa" key and public key

[kubeconfig] Using kubeconfig folder "/etc/kubernetes"

[kubeconfig] Writing "admin.conf" kubeconfig file

[kubeconfig] Writing "kubelet.conf" kubeconfig file

[kubeconfig] Writing "controller-manager.conf" kubeconfig file

[kubeconfig] Writing "scheduler.conf" kubeconfig file

[control-plane] Using manifest folder "/etc/kubernetes/manifests"

[control-plane] Creating static Pod manifest for "kube-apiserver"

[control-plane] Creating static Pod manifest for "kube-controller-manager"

[control-plane] Creating static Pod manifest for "kube-scheduler"

[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"

[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s

[apiclient] All control plane components are healthy after 18.008958 seconds

[upload-config] storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace

[kubelet] Creating a ConfigMap "kubelet-config-1.14" in namespace kube-system with the configuration for the kubelets in the cluster

[upload-certs] Skipping phase. Please see --experimental-upload-certs

[mark-control-plane] Marking the node master-172 as control-plane by adding the label "node-role.kubernetes.io/master=''"

[mark-control-plane] Marking the node master-172 as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]

[bootstrap-token] Using token: h2o5hc.sv7qcp1ynlfuyzl0

[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles

[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials

[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token

[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster

[bootstrap-token] creating the "cluster-info" ConfigMap in the "kube-public" namespace

[addons] Applied essential addon: CoreDNS

[addons] Applied essential addon: kube-proxy

 

Your Kubernetes control-plane has initialized successfully!

 

To start using your cluster, you need to run the following as a regular user:

 

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

 

You should now deploy a pod network to the cluster.

Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:

https://kubernetes.io/docs/concepts/cluster-administration/addons/

 

Then you can join any number of worker nodes by running the following on each as root:

 

kubeadm join 192.168.1.172:6443 --token h2o5hc.sv7qcp1ynlfuyzl0 \

--discovery-token-ca-cert-hash sha256:042a02d94c67af76788097610eaab6937c991fc5d3866ba997fd8c49fce9dd2f

 

[/spoiler]

 

если воз­ник­нут ошиб­ки ука­зы­ва­ю­щие на docker ТО:

vim /usr/lib/systemd/system/docker.service

в стро­ку

ExecStart=/usr/bin/dockerd  -H fd:// --containerd=/run/containerd/containerd.sock

добав­ля­ем --exec-opt native.cgroupdriver=systemd

по ито­гу будет иметь вид:

ExecStart=/usr/bin/dockerd  --exec-opt native.cgroupdriver=systemd -H fd:// --containerd=/run/containerd/containerd.sock

 

systemctl daemon-reload

systemctl restart docker

 

после чего повтор­но запускаем

kubeadm init

 

Вни­зу выво­да ини­ци­а­ции име­ет­ся токен, он нам пона­до­бит­ся немно­го поз­же (когда будем добав­лять ноды в кла­стер). Сохра­ни­те его! Если забы­ли или упу­сти­ли токен, мож­но посмот­реть токе­ны:

# kubeadm token list

 

Для гене­ра­ции токе­на, мож­но использовать:

# kubeadm token generate

 

Для исполь­зо­ва­ния сге­не­ри­ро­ван­но­го токе­на, слу­жит команда:

# kubeadm token create 2d4041.f36eaef929570488 --print-join-command --ttl=0

 

Уда­ля­ем токен так:

# kubeadm token delete 2d4041.f36eaef929570488

bootstrap token with id "2d4041" deleted

 

Что­бы сбро­сить все настрой­ки, используйте:

# kubeadm reset

 

PS: Так же, мож­но исполь­зо­вать:

$ kubeadm init --apiserver-advertise-address=192.168.1.172 --pod-network-cidr=10.244.0.0/16

Где:

apiserver-advertise-address=192.168.1.172  — явно ука­зы­ва­ет масте­ру на IP адрес, кото­рый нуж­но сооб­щать кли­ен­там для подключения

pod-network-cidr=10.244.0.0/16 исполь­зу­ет­ся для уста­нов­ки адрес­но­го про­стран­ства для ваших pod-ов в flannel.

 

Сей­час сто­ит выпол­нить настрой­ку для запус­ка кла­сте­ра от опре­де­лен­но­го пользователя

# mkdir -p $HOME/.kube && cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && chown $(id -u):$(id -g) $HOME/.kube/config

 

PS: У меня это будет поль­зо­ва­тель — root. Но для удоб­ства исполь­зо­ва­ния, мож­но создать отдель­но­го юзе­ра, напри­мер — kubernetes и выста­вить пра­ва на него:

# adduser kubernetes

# passwd kubernetes

# usermod -aG wheel kubernetes

# su - kubernetes

 

 

Сей­час, нуж­но настро­ить pod network для кластера:

# kubectl get nodes

 

С само­го нача­ла, — сеть будет не доступ­на. Выпол­ним еще проверку:

# kubectl get pods --all-namespaces

 

Что­бы ста­тус кла­сте­ра был - готов (Было все настро­е­но и так же, имел kube-dns status — running , раз­вер­ни­те сеть кон­тей­не­ра, что­бы кон­тей­не­ры раз­ных хостов обме­ни­ва­лись друг с дру­гом. Сеть POD пред­став­ля­ет собой овер­лей­ную сеть меж­ду рабо­чи­ми узла­ми. Запу­сти­те коман­ду для раз­вер­ты­ва­ния сети:

 

# export kubever=$(kubectl version | base64 | tr -d '\n')

# kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$kubever"

[spoiler]serviceaccount/weave-net created

clusterrole.rbac.authorization.k8s.io/weave-net created

clusterrolebinding.rbac.authorization.k8s.io/weave-net created

role.rbac.authorization.k8s.io/weave-net created

rolebinding.rbac.authorization.k8s.io/weave-net created

daemonset.extensions/weave-net created

[/spoiler]

 

[root@master-172 ~]# kubectl get pods --all-namespaces

NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE

kube-system   coredns-fb8b8dccf-f86bc              1/1     Running   0          49m

kube-system   coredns-fb8b8dccf-hztvd              1/1     Running   0          49m

kube-system   etcd-master-172                      1/1     Running   0          47m

kube-system   kube-apiserver-master-172            1/1     Running   0          47m

kube-system   kube-controller-manager-master-172   1/1     Running   0          47m

kube-system   kube-proxy-9gflp                     1/1     Running   0          49m

kube-system   kube-scheduler-master-172            1/1     Running   0          47m

kube-system   weave-net-wtd7s                      2/2     Running   0          90s

 

Раз­лич­ные сети под­дер­жи­ва­ют­ся в k8s и зави­сят от выбо­ра поль­зо­ва­те­ля. Хочу при­ве­сти еще один при­мер с сетью, кото­рый исполь­зу­ет RBAC (Role Based Access Control), поэто­му убе­ди­тесь, что сеть, кото­рую вы соби­ра­е­тесь исполь­зо­вать, под­дер­жи­ва­ет RBAC (не про­ве­рял рабо­ту это­го сете­во­го интерфейса):

# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml

 

 

Думаю что уже все будет рабо­тать, но сто­ит пере­про­ве­рить это еще 1 раз:

# kubectl get nodes && kubectl  get pods --all-namespaces

 

Что­бы полу­чить боль­ше полез­ной инфор­ма­ции, выполните:

[root@master-172 ~]# kubectl get pods --all-namespaces -o wide

NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE     IP              NODE         NOMINATED NODE   READINESS GATES

kube-system   coredns-fb8b8dccf-f86bc              1/1     Running   0          51m     10.32.0.2       master-172   <none>           <none>

kube-system   coredns-fb8b8dccf-hztvd              1/1     Running   0          51m     10.32.0.3       master-172   <none>           <none>

kube-system   etcd-master-172                      1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-apiserver-master-172            1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-controller-manager-master-172   1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-proxy-9gflp                     1/1     Running   0          51m     192.168.1.172   master-172   <none>           <none>

kube-system   kube-scheduler-master-172            1/1     Running   0          50m     192.168.1.172   master-172   <none>           <none>

kube-system   weave-net-wtd7s                      2/2     Running   0          3m54s   192.168.1.172   master-172   <none>           <none>

 

 

если исполь­зу­е­те фаер­вол, то сто­ит про­бро­сить пор­ты (при­мер для CentOS 7):

# firewall-cmd --permanent --add-port=6443/tcp

# firewall-cmd --permanent --add-port=2379-2380/tcp

# firewall-cmd --permanent --add-port=10250/tcp

# firewall-cmd --permanent --add-port=10251/tcp

# firewall-cmd --permanent --add-port=10252/tcp

# firewall-cmd --permanent --add-port=10255/tcp

# firewall-cmd --reload

# modprobe br_netfilter

# echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables

 

Поздрав­ляю, — мастер готов!

 

Настройка нод

 

если исполь­зу­е­те фаер­вол, то сто­ит про­бро­сить пор­ты (при­мер для CentOS 7):

# firewall-cmd --permanent --add-port=10250/tcp

# firewall-cmd --permanent --add-port=10255/tcp

# firewall-cmd --permanent --add-port=30000-32767/tcp

# firewall-cmd --permanent --add-port=6783/tcp

# firewall-cmd  --reload

# echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables

 

выпол­ня­ем уста­нов­ку (на всех вор­ке­рах или миньйонах):

# yum install ebtables ethtool kubeadm -y

 

Добав­ля­ем в автозагрузку

systemctl enable kubelet

 

Добав­ля­ем ноды в kubernetis kluster (мастер):

# kubeadm join --token KUBERNETES_MASTER_TOKEN KUBERNETES_MASTER_IP:6443

Где:

KUBERNETES_MASTER_TOKEN — Это токен, кото­рый слу­жит для добав­ле­ния рабо­чих нод в кластер.

KUBERNETES_MASTER_IP — Это IP само­го кубер­не­тес мастер ноды.

6443 — Порт от мастер-ноды.

 

в слу­чае ошибки:

discovery.bootstrapToken: Invalid value: "": using token-based discovery without caCertHashes can be unsafe. Set unsafeSkipCAVerification to continue

 

исполь­зу­ем пол­ный вид:

kubeadm join --token h2o5hc.sv7qcp1ynlfuyzl0 --discovery-token-ca-cert-hash sha256:042a02d94c67af76788097610eaab6937c991fc5d3866ba997fd8c49fce9dd2f 192.168.1.172:6443

 

вывод при­мер­но такой:

[root@slave2 ~]# kubeadm join --token h2o5hc.sv7qcp1ynlfuyzl0 --discovery-token-ca-cert-hash sha256:042a02d94c67af76788097610eaab6937c991fc5d3866ba997fd8c49fce9dd2f 192.168.1.172:6443

[spoiler][preflight] Running pre-flight checks

[WARNING Hostname]: hostname "slave2" could not be reached

[WARNING Hostname]: hostname "slave2": lookup slave2 on 8.8.8.8:53: no such host

[preflight] Reading configuration from the cluster…

[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'

[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.14" ConfigMap in the kube-system namespace

[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"

[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"

[kubelet-start] Activating the kubelet service

[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap…

 

This node has joined the cluster:

* Certificate signing request was sent to apiserver and a response was received.

* The Kubelet was informed of the new secure connection details.

 

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

[/spoiler]

 

Для про­вер­ки рабо­то­спо­соб­но­сти создан­но­го кла­сте­ра, выполним(на мастере):

# kubectl get nodes

[root@master-172 ~]# kubectl get nodes

NAME         STATUS   ROLES    AGE     VERSION

master-172   Ready    master   173m    v1.14.2

slave2       Ready    <none>   8m48s   v1.14.2

slave3       Ready    <none>   8m13s   v1.14.2

 

Для авто­до­пол­не­ния команд, мож­но выпол­нить следующее:

$ echo "source <(kubectl completion bash)" >> ~/.bashrc

 

Как-то так!