ABRTD進(jìn)程引發(fā)ES血案的故事

IT那活兒發(fā)布于2023-01-11 13:20 / 3548人閱讀

故事描述

某通信集團(tuán)割接，數(shù)據(jù)同步驗(yàn)證日志一致性時(shí)，連接ES失敗，無法寫入和讀取，es數(shù)據(jù)寫入不了，影響最新日志入es，應(yīng)用割接大部分廠商需要查詢最新的日志，間接影響到了割接進(jìn)度,為了保障業(yè)務(wù)恢復(fù)，秉承先搶通后搶修原則，在上級(jí)領(lǐng)導(dǎo)及業(yè)務(wù)廠商溝通下，立即啟用應(yīng)急處理措施，進(jìn)行切換至災(zāi)備ES,切換后索引讀寫正常，通知廠商恢復(fù)業(yè)務(wù)。

故事發(fā)生過程

晚上吃完飯，和同事一起趕現(xiàn)場(chǎng)做好支撐準(zhǔn)備，我們說，今天割接非常順利，沒什么異常，早點(diǎn)回去休息，正要回去的時(shí)候，突然有個(gè)業(yè)務(wù)系統(tǒng)說，查詢?nèi)罩井惓＃覀凂R上查詢一下手機(jī)短信，未發(fā)現(xiàn)什么異常短信，是否是業(yè)務(wù)誤報(bào)，不管了，以‘飛奔‘的速度跑回現(xiàn)場(chǎng)，所有領(lǐng)導(dǎo)已在現(xiàn)場(chǎng)，下面我們就展開了一系列分析。

我們這套ES是6主機(jī)24節(jié)點(diǎn)的集群，專門提供業(yè)務(wù)日志寫入，打開kibana看所有集群節(jié)點(diǎn)也都正常，看狀態(tài)也是Green 。

但是集群寫入失敗，肯定存在問題，于是看看節(jié)點(diǎn)情況，結(jié)果節(jié)點(diǎn)的索引信息獲取失敗，ES集群命令已經(jīng)查不到ES集群節(jié)點(diǎn)信息及索引信息，此時(shí)需通過日志來分析為什么會(huì)如此。

分析ES集群日志，發(fā)現(xiàn)日志中最早的報(bào)錯(cuò)信息發(fā)生在5點(diǎn)33分39秒左右，報(bào)錯(cuò)信息為連接超時(shí)導(dǎo)致無法獲取集群和索引信息，并且其它節(jié)點(diǎn)也有超時(shí)現(xiàn)象

存在ES節(jié)點(diǎn)超時(shí)，就會(huì)觸發(fā)ES集群索引分片重新路由分配，分片移動(dòng)到其它節(jié)點(diǎn)導(dǎo)致磁盤占比上升，引發(fā)es集群自動(dòng)觸發(fā)提高磁盤水位，過高的IO和負(fù)載使整個(gè)集群Hang住，

此時(shí)ES級(jí)別分析完成，是185節(jié)點(diǎn)與集群通信失敗超時(shí)，處于假死狀態(tài)，而為什么185節(jié)點(diǎn)會(huì)這樣，我們進(jìn)一步對(duì)操作系統(tǒng)進(jìn)行分析，通過自動(dòng)化運(yùn)維平臺(tái)，發(fā)現(xiàn)6臺(tái)主機(jī)，有其中一個(gè)主機(jī)的負(fù)載故障前非常高，于是對(duì)操作日志進(jìn)行分析，檢查操作系統(tǒng)messages信息，發(fā)現(xiàn)185存在系統(tǒng)守護(hù)進(jìn)程abrtd異常導(dǎo)致連接數(shù)過多及主機(jī)hang現(xiàn)象，息abrtd: Too many clients, refusing connections to /var/run/abrt/abrt.socketAug 21 05:33:37 hnes09 kernel: INFO: task java:21133 blocked for more than 120 seconds.Aug 21 05:33:37 hnes09 kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.

我們通過日志發(fā)現(xiàn)引發(fā)這臺(tái)主機(jī)的‘罪魁禍?zhǔn)住莂brtd進(jìn)程引起，而該進(jìn)程是在操作系統(tǒng)BUG或異常情況會(huì)觸發(fā)，由于是開源的centos未有相應(yīng)dump生成，只能先重啟主機(jī)解決。

重啟主機(jī)并重啟ES集群，查看 es日志顯示集群狀態(tài)正常，集群包含的6臺(tái)主機(jī)共24個(gè)節(jié)點(diǎn)正常加入集群，集群恢復(fù)正常，kibana訪問正常。為了防止后續(xù)重蹈覆轍，在其它的未發(fā)生故障的主機(jī)進(jìn)行梳理，并停止abrtd進(jìn)程服務(wù)，至此整個(gè)事件告一段落。

故事發(fā)生引發(fā)的思考

在我們未來的運(yùn)維場(chǎng)景越來越復(fù)雜的情況下，開源組件會(huì)越來越多，業(yè)務(wù)使用開源的場(chǎng)景也會(huì)增多，單純的技術(shù)深度已無法滿足未來的需求，我們應(yīng)該從架構(gòu)設(shè)計(jì)出發(fā)，在出現(xiàn)問題的時(shí)候架構(gòu)上做冗余，秉承‘業(yè)務(wù)優(yōu)先，先搶通后搶修’的原則，在日常運(yùn)維中使用平臺(tái)工具代替手工勞作。真正意義實(shí)現(xiàn)’故障來了我不背鍋’。