一體機(jī)系統(tǒng)盤(pán)offline的處理過(guò)程

IT那活兒發(fā)布于2023-01-11 13:19 / 1391人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

概述：

一體機(jī)有數(shù)據(jù)盤(pán)和系統(tǒng)盤(pán)，數(shù)據(jù)盤(pán)要是missing可以由其它柜數(shù)據(jù)盤(pán)重平衡后修復(fù)，但是系統(tǒng)盤(pán)在硬件上只有一組冗余，壞了之后需要即時(shí)修復(fù)。

一

事情發(fā)生及分析

1. 發(fā)現(xiàn)問(wèn)題

收到一體機(jī)數(shù)據(jù)庫(kù)ASM存在離線(xiàn)磁盤(pán)組的告警告警。

2. ASM檢查

數(shù)據(jù)庫(kù)檢查ASM磁盤(pán)情況，發(fā)現(xiàn)存在offline disk磁盤(pán)。

3. 臨時(shí)方案

嘗試手動(dòng)online asm disk，執(zhí)行后失敗報(bào)not visible cluster-wide。

說(shuō)明存在損壞，有可能是物理壞盤(pán)了。

4. 分析日志

1）查看ASM日志，確認(rèn)為底層磁盤(pán)有問(wèn)題。

2）登錄一體機(jī)進(jìn)行狀態(tài)檢查，發(fā)現(xiàn)所有磁盤(pán)組為正常，對(duì)應(yīng)ASM的的磁盤(pán)組提示狀態(tài)未更新。

找到對(duì)應(yīng)的節(jié)點(diǎn)進(jìn)行日志檢查，發(fā)現(xiàn)存在ERROR日志，確認(rèn)為00號(hào)盤(pán)損壞，需要及時(shí)更換 。（注：一個(gè)cell節(jié)點(diǎn)有12塊盤(pán)其中00和01為系統(tǒng)盤(pán)所以存在異常需要立馬進(jìn)行更換，避免出現(xiàn)因系統(tǒng)盤(pán)異常導(dǎo)致的二次故障）

二

解決過(guò)程

經(jīng)過(guò)和同事分析后，必須盡快對(duì)物理盤(pán)進(jìn)行修復(fù)，先對(duì)壞盤(pán)drop，再修復(fù)物理盤(pán)。

1. 舊盤(pán)清理drop

在db節(jié)點(diǎn)上grid用戶(hù)登錄，這是要確認(rèn)一下asm disk是不是被drop掉。drop掉就可以直接更換，如果沒(méi)有，就需要手動(dòng)去drop。

[root@dw01db01 ~]# su - oracle
[oracle@dw01db01 ~]$ ssh oracle@dw01db02
[oracle@dw01db01 ~]$ env
[oracle@dw01db01 ~]$ export ORACLE_SID=+ASM1
[oracle@dw01db01 ~]$ export ORACLE_HOME=/u01/app/11.2.0.3/grid
[oracle@dw01db01 ~]$ sqlplus / as sysasm
SQL> set linesize 132
SQL> col path format a50
SQL> select group_number,name,state from v$asm_diskgroup;
GROUP_NUMBER NAME STATE
------------ ------------------------------ -----------
1 DATAC1 MOUNTED
2 DATAC2 MOUNTED
3 DATAC3 MOUNTED
4 DBFS_DG MOUNTED
5 RECOC1 MOUNTED
SQL>select group_number,path,header_status,mount_status,mode_status,name from V$ASM_DISK where path like %CD_00_ndw1celadm02;SQL> SQL>

GROUP_NUMBER PATH HEADER_STATU MOUNT_S MODE_ST NAME
------------ -------------------------------------------------- ------------ ------- ------- ------------------------------
0      o/192.168.XX.7;192.168.XX.8/RECOC1_CD_00_ndw1celad UNKNOWN CLOSED ONLINE
m02

0      o/192.168.XX.7;192.168.XX.8/DATAC1_CD_00_ndw1celad UNKNOWN CLOSED ONLINE
m02

本次磁盤(pán)損壞ASM相關(guān)的磁盤(pán)沒(méi)有drop，需手動(dòng)drop,在手動(dòng)drop之前還需要確認(rèn)當(dāng)前的ASM實(shí)例是否仍在reblance。

SQL> select * from gv$asm_operation where state=RUN;
no rows selected------沒(méi)有正在運(yùn)行的reblance

沒(méi)有運(yùn)行的reblance，進(jìn)行磁盤(pán)drop：

SQL> alter diskgroup RECOC1 drop disk RECOC1_CD_00_ndw1celadm02 
rebalance power 4;----并發(fā)可根據(jù)實(shí)際情況進(jìn)行調(diào)整

2. 機(jī)房現(xiàn)場(chǎng)檢查

完成drop后即可進(jìn)行磁盤(pán)更換，在機(jī)房找到指定一體機(jī)，上方為db節(jié)點(diǎn)，下方為cell節(jié)點(diǎn)（drop掉后到對(duì)應(yīng)cell節(jié)點(diǎn)檢查狀態(tài)會(huì)發(fā)現(xiàn)該塊異常盤(pán)未提出節(jié)點(diǎn)，cell節(jié)點(diǎn)的順序是由下至上），查看故障指示燈，橙燈亮表示為有異常！

3. 機(jī)房硬盤(pán)更換

找到指定位置后進(jìn)行拔插，注意拔掉磁盤(pán)后等待5-10分鐘再將磁盤(pán)插入。

在此過(guò)程中遇到問(wèn)題：

本次X5-X6為一套集群，并且X5-X6的硬件可以共用的，但是X5的硬盤(pán)為4T，X6為8T。剛好攜帶的硬件為8T進(jìn)行插盤(pán)后無(wú)法兼容。導(dǎo)致插入新盤(pán)狀態(tài)持續(xù)未恢復(fù)！
此過(guò)程中重新插入拔出不會(huì)有任何影響，重新跟換適配盤(pán)進(jìn)行插入。所以更換前一定確認(rèn)清楚設(shè)備型號(hào)已經(jīng)其他節(jié)點(diǎn)已經(jīng)運(yùn)行的設(shè)備容量。
更換為指定符合要求的硬件后，插入硬盤(pán)指示燈閃爍后仍為橙燈，檢查發(fā)現(xiàn)為新盤(pán)一直未加入到節(jié)點(diǎn)組中。通過(guò)cellcli -e list alerthistory命令可查看新盤(pán)插入后的分配情況，提示未分配到指定的組中，檢查發(fā)現(xiàn)為節(jié)點(diǎn)的/目錄滿(mǎn)了導(dǎo)致，清理后再次拔插磁盤(pán)恢復(fù)正常。
由于00和01為系統(tǒng)盤(pán)所以當(dāng)/目錄空間不足時(shí)無(wú)法進(jìn)行重新平衡）插入后觀察指示燈，綠燈快速閃爍后恢復(fù)正常閃爍。登錄對(duì)應(yīng)cell節(jié)點(diǎn)檢查日志。

[root@ndw1celadm02 ~]# cellcli -e list alerthistory---查看日志
[root@ndw1celadm02 ~]#cellcli -e list griddisk---檢查狀態(tài)

都恢復(fù)正常后進(jìn)行rebalance操作：

alter diskgroup DATAC1 rebalance power 32;

至此一體機(jī)換盤(pán)全部完成！

三

事情總結(jié)

每天做好一體機(jī)硬件巡檢。
每天做好數(shù)據(jù)庫(kù)存儲(chǔ)ASM巡檢。
壞盤(pán)后即時(shí)做好應(yīng)急方案，根據(jù)實(shí)際情況制定處理方案并解決。
事情出現(xiàn)后，若無(wú)法自己判斷嚴(yán)重性，應(yīng)該立即上報(bào)，尋求專(zhuān)家協(xié)同分析后，再制定相應(yīng)措施，避免二次故障及人為問(wèn)題。
做好備件核查及備件入庫(kù)，避免出現(xiàn)硬件問(wèn)題，無(wú)法即時(shí)得到更換。