Kublet PLEG不健康問題排障

蘇丹發(fā)布于2019-07-01 17:05 / 2939人閱讀

摘要：環(huán)境管控的集群。現(xiàn)象某個頻繁出現(xiàn)錯誤，頻率在分鐘就會出現(xiàn)一次。排查發(fā)現(xiàn)有一個一直處于狀態(tài)，也就是說殺不死。用，強制刪除。再到上檢查這個容器是否真的被停止，，看到容器處于狀態(tài)。觀察狀態(tài)，問題依舊。

環(huán)境：Rancher管控的K8S集群。

現(xiàn)象：某個Node頻繁出現(xiàn)“PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s”錯誤，頻率在5-10分鐘就會出現(xiàn)一次。

排查：

kubectl get pods --all-namespaces 發(fā)現(xiàn)有一個istio-ingressgateway-6bbdd58f8c-nlgnd一直處于Terminating狀態(tài)，也就是說殺不死。

到Node上docker logs --tail 100 kubelet也看到這個Pod的狀態(tài)異常：

I0218 01:21:17.383650   10311 kubelet.go:1775] skipping pod synchronization - [PLEG is not healthy: pleg was last seen active 3m46.752815514s ago; threshold is 3m0s]
...
E0218 01:21:30.654433   10311 generic.go:271] PLEG: pod istio-ingressgateway-6bbdd58f8c-nlgnd/istio-system failed reinspection: rpc error: code = DeadlineExceeded desc = context deadline exceeded

用kubelet delete pod嘗試刪除，命令掛住。

用kubectl delete pod --force --grace-period=0，強制刪除Pod。

再到Node上檢查這個容器是否真的被停止，docker ps -a| grep ingressgateway-6bbdd58f8c-nlgnd，看到容器處于Exited狀態(tài)。

觀察Node狀態(tài)，問題依舊。

把Pod關(guān)聯(lián)的Deployment刪除，把一只處于Terminating的Pod用kubectl delete pod --force --grace-period=0的方式刪除。

重新部署Deployment。

問題解決。

相關(guān)issue

云服務(wù)器 GPU云服務(wù)器健康檢查常見問題 PLEG Kublet 排障

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/32886.html

相關(guān)文章

UK8S 集群常見問題容器云 UK8S

摘要：為什么在節(jié)點直接起容器網(wǎng)絡(luò)不通為什么在節(jié)點直接起容器網(wǎng)絡(luò)不通為什么在節(jié)點直接起容器網(wǎng)絡(luò)不通使用自己的插件，而直接用起的容器并不能使用該插件，因此網(wǎng)絡(luò)不通。 UK8S 集群常見問題本篇目錄1. UK8S 完全兼容原生 Kubernetes API嗎？2. UK8S 人工支持3. UK8S對Node上發(fā)布的容器有限制嗎？如何修改？4. 為什么我的容器一起來就退出了？5. Docker 如何調(diào)整日...

ernest.wang 2022-07-12 17:25 評論0 收藏1762
微服務(wù)簡介

摘要：微服務(wù)簡介微服務(wù)架構(gòu)是一種架構(gòu)概念，旨在通過將功能分解到各個離散的服務(wù)中以實現(xiàn)對解決方案的解耦。每個微服務(wù)僅關(guān)注于完成一件任務(wù)并很好地完成該任務(wù)。服務(wù)異常自動隔離。微服務(wù)架構(gòu)挑戰(zhàn)服務(wù)規(guī)模大，部署運維管理難度大。微服務(wù)簡介微服務(wù)架構(gòu)（Microservice Architecture）是一種架構(gòu)概念，旨在通過將功能分解到各個離散的服務(wù)中以實現(xiàn)對解決方案的解耦。微服務(wù)是一種架構(gòu)風(fēng)格，...

darcrand 2019-06-24 18:05 評論0 收藏0
【容器云 UK8S】常見問題及排障指南：入門必讀之Pod 常見命令，Controller 常見命令和

摘要：入門必讀提供了一系列的命令行工具來輔助我們調(diào)試和定位問題，本指南列舉一些常見的命令來幫助應(yīng)用管理者快速定位和解決問題。這里以為例，介紹的常用命令其他的命令類型與其一致。入門必讀Kubernetes 提供了一系列的命令行工具來輔助我們調(diào)試和定位問題，本指南列舉一些常見的命令來幫助應(yīng)用管理者快速定位和解決問題。定位問題在開始處理問題之前，我們需要確認問題的類型，是 Pod ，Service ，或...

Tecode 2022-06-28 19:00 評論0 收藏0
從零開始學(xué)習(xí) Docker

摘要：此命令下載測試鏡像并在容器中運行它。國內(nèi)很多云服務(wù)商都提供了加速器服務(wù)，例如阿里云加速器注冊用戶并且申請加速器，會獲得如這樣的地址。獲取鏡像阿里云鏡像庫上有大量的高質(zhì)量的鏡像可以用，這里我們就說一下怎么獲取這些鏡像并運行。 showImg(https://segmentfault.com/img/remote/1460000012924583); 這篇文章是我學(xué)習(xí) Docker 的記錄...

lily_wang 2019-06-28 16:14 評論0 收藏0
容器打印日志到控制臺阻塞的排障

摘要：原文今日生產(chǎn)環(huán)境發(fā)現(xiàn)有些容器停止響應(yīng)了，但是容器沒有死，也能正常使用。在容器內(nèi)部使用發(fā)現(xiàn)的一直處于運行狀態(tài)但用沒有發(fā)現(xiàn)有新的日志輸出，且訪問該應(yīng)用肯定會輸出日志的接口也是沒有任何日志輸出，因此懷疑阻塞住了。原文今日生產(chǎn)環(huán)境發(fā)現(xiàn)有些容器停止響應(yīng)了，但是容器沒有死，docker exec -it /bin/bash也能正常使用。在容器內(nèi)部使用jstack 發(fā)現(xiàn)log4j2的Cons...

aaron 2019-06-28 17:05 評論0 收藏0