Thank you for reading this post, don't forget to subscribe!
Есть много причин, по которым вы можете обнаружить, что некоторые поды находятся в состоянии Evicted и Terminated.
В случае eviction это часто происходит в результате нехватки ресурсов на рабочих нодах или ошибки приложения.
Terminated может быть результатом уменьшения масштаба приложения или развертывания новой версии приложения, после которой прекращается работа старых подов.
Служба kubelet, которая работает на каждом узле кластера, отвечает за состояние eviction подов.
Вы можете получить список подов в пространстве имен, застрявших в состоянии Evicted и Terminated, выполнив следующую команду:
|
1 |
kubectl get pods -n namespace | egrep -i 'Terminated|Evicted' |
Как удалить поды в Kubernetes
Вы можете удалить эти поды разными способами.
Использование собственных команд kubectl и Bash
Это команды bash с фильтрацией, которые вы можете запустить для принудительного удаления подов в пространстве имен, которые застряли в завершенном состоянии.
|
1 2 3 4 5 6 7 8 9 10 |
# Определение неймспейса namespace="mynamespace" # Получаем поды epods=$(kubectl get pods -n ${namespace} | egrep -i 'Terminated|Evicted' | awk '{print $1 }') # Удаляем их for i in ${epods[@]}; do kubectl delete pod --force=true --wait=false --grace-period=0 $i -n ${namespace} done |
Подтвердите, есть ли еще контейнеры в этом состоянии.
|
1 |
kubectl get pods -n ${namespace} | egrep -i 'Terminated|Evicted' |
Удаление всех исключенных и завершенных модулей из всех пространств имен:
|
1 |
kubectl get pods --all-namespaces | egrep -i 'Evicted|Terminated' | awk '{print $2 " --namespace=" $1}' | xargs kubectl delete pod --force=true --wait=false --grace-period=0 |
Удалите все контейнеры в состоянии ImagePullBackOff из всех пространств имен — Бонус:
|
1 |
kubectl get pods --all-namespaces | grep -E 'ImagePullBackOff|ErrImagePull|Evicted' | awk '{print $2 " --namespace=" $1}' | xargs kubectl delete pod |
Использование фильтров kubectl и jq
Вы также можете отфильтровать вывод команды kubectl и перенаправить в jq для получения определенных столбцов.
Сначала установите команду jq:
|
1 2 3 4 5 6 7 8 9 10 11 |
--- Ubuntu / Debian --- $ sudo apt update && sudo apt install jq --- CentOS/Fedora --- $ sudo yum -y install epel-release $ sudo yum -y install jq --- RHEL --- wget https://github.com/stedolan/jq/releases/download/jq-1.6/jq-linux64 -O jq chmod +x jq sudo mv jq /usr/local/bin |
Затем удалите застрявшие поды с помощью команды:
|
1 |
kubectl get pods --all-namespaces -o json | jq '.items[] | select(.status.reason!=null) | select(.status.reason | contains("Evicted")) | "kubectl delete pods \(.metadata.name) -n \(.metadata.namespace)"' | xargs -n 1 bash -c |