故障處理之記一起倒庫多次，找兒子的過程

IT那活兒發(fā)布于2023-01-11 13:20 / 1042人閱讀

故障處理之記一起倒庫多次，找兒子的過程

“XX庫又倒了”，最近這已成為大家的一句口頭禪了。心里雖然碎碎念念，但身體還是很誠+順滑的登上了環(huán)境。所有日志擼了一圈兒，確定還是之前的老毛病。

最近半個月，前前后后宕了6次?？吹竭@兒，擼友們可能會有疑惑，萎了這么多次，難道還沒找到原因嗎？你們媳婦兒脾氣可真好，不會跳？不會給送你個草色的帽子啥滴。。。

大胸弟，先別急，哥先簡單介紹下情況，這個庫是邊緣的庫，11G單實例。宕個一兩次影響也不大，但是這樣5～6次的搞，再強(qiáng)的漢子臉上也繃不住啊。

其實這個故障，在第一次萎的時候，我們就核查到是由于磁盤鏈路異?；蚱渌W(wǎng)絡(luò)相關(guān)問題導(dǎo)致（SAN網(wǎng)絡(luò)相關(guān)原因），相關(guān)故障處理及結(jié)論也郵件各方，并請求網(wǎng)絡(luò)側(cè)進(jìn)行核查。

后面通過溝通得知在故障之前進(jìn)行過網(wǎng)絡(luò)改造，但網(wǎng)絡(luò)側(cè)也是提起褲子就不認(rèn)兒子的主兒，一句話正常（我沒做，我沒干，我沒漏）。后面正如大家看到的，半個月泄了6次（內(nèi)褲都洗不贏了）。就這種內(nèi)褲都沒有了的情況下，網(wǎng)絡(luò)側(cè)還反饋正常。。。。。。

看來要想網(wǎng)絡(luò)側(cè)承認(rèn)兒子是他的，得做DNA親子鑒定了。

以最近捉奸現(xiàn)場為例，分析如下：

1、主機(jī)日志顯示04:42:30時刻點磁盤offline

2、asm日志顯示04:42:30時刻點，DG盤DWDATA2、DWDATA的磁盤offline，I/O讀寫掛起，磁盤組被強(qiáng)制dismount

3、數(shù)據(jù)庫alert日志顯示04:42:30磁盤無法讀寫。

4、報錯涉及的部分?jǐn)?shù)據(jù)文件如下:

5、故障時間點，通過oswatch可以看到當(dāng)時主機(jī)負(fù)載并不高

半個月以來共出現(xiàn)6次故障（每次都是同一個姿勢），經(jīng)核查，故障時間點，主機(jī)負(fù)載正常，cpu、內(nèi)存資源充足，操作系統(tǒng)日志均顯示有磁盤offline，數(shù)據(jù)庫alert日志顯示磁盤無法進(jìn)行讀寫，asm日志顯示無法讀寫磁盤，強(qiáng)制dismount DG盤。

結(jié)合數(shù)據(jù)庫日志，asm日志，操作系統(tǒng)日志可以看出是由于磁盤offline導(dǎo)致數(shù)據(jù)庫無法讀寫磁盤進(jìn)而導(dǎo)致數(shù)據(jù)庫宕掉。

所以，還是之前的結(jié)論：相關(guān)SAN網(wǎng)絡(luò)導(dǎo)致磁盤 offline，產(chǎn)生一系列數(shù)據(jù)庫層面的故障。

其實捉奸不是目的，只是為了更好的解決問題，有時候紅紅脖子，拍拍屁股也挺好，這樣更容易讓各方認(rèn)兒子。當(dāng)然如果有其他的高效認(rèn)兒子的方式更好，總是這樣拿著高倍攝像機(jī)，看的人也焦躁。

當(dāng)然，安慰自己的方式就是：做的就是幫人提褲子，認(rèn)兒子的活兒，也是本職工作吧。