oracle DG備庫磁盤壞塊問題處理

IT那活兒發(fā)布于2023-01-11 13:20 / 1310人閱讀

oracle DG備庫磁盤壞塊問題處理

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多精彩內(nèi)容??！

問題背景

2021年12月15日，17:33分，收到某數(shù)據(jù)庫表空間告警，業(yè)務(wù)人員對(duì)告警表空間WEBOA添加數(shù)據(jù)文件195-198號(hào)數(shù)據(jù)文件，20:21收到該備庫同步中斷告警，檢查日志發(fā)現(xiàn)報(bào)錯(cuò)ORA-01119、ORA-27040，備庫磁盤已滿，無法同步主庫數(shù)據(jù)。通知業(yè)務(wù)擴(kuò)容時(shí)，業(yè)務(wù)側(cè)反饋備庫hdisk5存在壞塊，需要進(jìn)行磁盤替換才能完成擴(kuò)容。

壞塊修復(fù)

2.1 確認(rèn)損壞的LV

lspv -l hdisk5
hdisk5:
LV NAME LPs PPs DISTRIBUTION MOUNT POINT
rac_data28_32g 32 32 00..00..00..32..00 N/A
rac_data27_32g 32 32 00..00..00..32..00 N/A
rac_data26_32g 32 32 29..00..00..03..00 N/A
rac_data25_32g 32 32 32..00..00..00..00 N/A
rac_data32_32g 32 32 00..00..00..32..00 N/A
rac_data31_32g 32 32 00..00..00..32..00 N/A
rac_da40_32g 32 32 00..00..00..32..00 N/A
rac_data29_32g 32 32 00..00..00..32..00 N/A
rac_data34_32g 32 32 00..00..00..32..00 N/A
rac_data33_32g 32 32 00..00..00..32..00 N/A
rac_data4_32g 32 32 00..32..00..00..00 N/A
rac_data37_32g 32 32 00..00..00..00..32 N/A
rac_data2_32g 32 32 00..32..00..00..00 N/A
rac_data38_32g 32 32 00..00..00..00..32 N/A
rac_data3_32g 32 32 00..32..00..00..00 N/A
rac_data35_32g 32 32 00..00..00..32..00 N/A
rac_redo2_3 1 1 00..01..00..00..00 N/A

dbv file=/dev/rac_da40_32g blocksize=8192
DBVERIFY: Release 10.2.0.3.0 - Production on Sun Dec 19 13:44:35 2021
Copyright (c) 1982, 2005, Oracle. All rights reserved.
DBVERIFY - Verification starting : FILE = /dev/rac_da40_32g
DBVERIFY - Verification complete
Total Pages Examined : 4194303
Total Pages Processed (Data) : 295443
Total Pages Failing (Data) : 0
Total Pages Processed (Index): 119458
Total Pages Failing (Index): 0
Total Pages Processed (Other): 3777343
Total Pages Processed (Seg) : 0
Total Pages Failing (Seg) : 0
Total Pages Empty            : 1932
Total Pages Marked Corrupt : 127
Total Pages Influx : 0
Highest block SCN            : 2559490068 (2.2559490068)

存儲(chǔ)側(cè)確認(rèn)rac_da40_32g這個(gè)lv有壞塊，雖然在hdisk只占有2個(gè)PPS（128M），但需要把對(duì)應(yīng)的整個(gè)數(shù)據(jù)文件刪除才可以把hdsik5替換掉，然后擴(kuò)容。

2.2 備份rac_da40_32g

2.2.1 裸設(shè)備數(shù)據(jù)備份到文件

dd if=/dev/rac_da40_32g of=/archive/rac_da40_32g.dbf bs=8k 
skip=8 count=4194296

2.2.2 備庫用rman備份到文件系統(tǒng)

RMAN> copy datafile /dev/rrac_data40_32g to /migrate/recover_backup/rrac_data40_32g.dbf;
Starting backup at 19-DEC-21
using target database control file instead of recovery catalog
allocated channel: ORA_DISK_1
channel ORA_DISK_1: sid=5085 instance=oadb1 devtype=DISK
channel ORA_DISK_1: starting datafile copy
input datafile fno=00163 name=/dev/rrac_da62_32g
output filename=/migrate/recover_backup/rrac_data40_32g.dbf tag=TAG20211219T132823 recid=232 stamp=1091712654
channel ORA_DISK_1: datafile copy complete, elapsed time: 00:02:35
Finished backup at 19-DEC-21

2.2.3 主庫用rman備份到文件系統(tǒng)作為備用，防止備庫數(shù)據(jù)文件不可用

RMAN> copy datafile /dev/rrac_data40_32g to 
/migrate/recover_backup/backup_rrac_da40_32g.dbf;

2.3 檢查換盤后數(shù)據(jù)文件狀態(tài)

待存儲(chǔ)側(cè)更換完新盤后，檢查rac_da40_32g狀態(tài)：

lslv rac_da40_32g
LOGICAL VOLUME: rac_da40_32g VOLUME GROUP: datavg2
LV IDENTIFIER: 00f7275700004c000000013b08bcea61.40 PERMISSION: read/write
VG STATE: active/complete        LV STATE: closed/syncd
TYPE: raw WRITE VERIFY: off
MAX LPs:            512                    PP SIZE: 64 megabyte(s)
COPIES: 1                      SCHED POLICY: striped
LPs:                512                    PPs:            512
STALE PPs:          0                      BB POLICY: relocatable
INTER-POLICY: maximum RELOCATABLE: no
INTRA-POLICY: middle UPPER BOUND: 16
MOUNT POINT: N/A LABEL: None
MIRROR WRITE CONSISTENCY: on/ACTIVE
EACH LP COPY ON A SEPARATE PV ?: yes (superstrict)
Serialize IO ?: NO
STRIPE WIDTH: 16
STRIPE SIZE: 512k
DEVICESUBTYPE : DS_LVZ

2.4 恢復(fù)數(shù)據(jù)文件到新盤

2.4.1 使用dd從文件系統(tǒng)到裸設(shè)備

dd if=/archive/rac_da40_32g.dbf of=/dev/rrac_da40_32g bs=8k seek=8
4194296+0 records in.
4194296+0 records out.

恢復(fù)完成后，啟動(dòng)數(shù)據(jù)庫到mount狀態(tài)，開啟實(shí)時(shí)應(yīng)用，后臺(tái)日志報(bào)錯(cuò)：

Thu Dec 23 14:50:53 2021
Managed Standby Recovery not using Real Time Apply
Thu Dec 23 14:50:53 2021
Errors in file /opt/app/oracle/admin/oadb/bdump/oadb1_mrp0_3449322.trc:
ORA-01110: 數(shù)據(jù)文件 141: /dev/rrac_da40_32g
ORA-01122: 數(shù)據(jù)庫文件 141 驗(yàn)證失敗

使用備庫RMAN備份的文件恢復(fù)同樣報(bào)錯(cuò)，判斷備份的文件存在壞塊，無法進(jìn)行恢復(fù)，嘗試通過主庫備份的數(shù)據(jù)文件進(jìn)行恢復(fù)。

2.4.2 使用rman從文件系統(tǒng)遷移文件至裸設(shè)備(從生產(chǎn)備份)

RMAN> copy datafile /archive/backup_rrac_da40_32g.dbf to /dev/rrac_da40_32g;
Starting backup at 23-DEC-21
using target database control file instead of recovery catalog
allocated channel: ORA_DISK_1
channel ORA_DISK_1: sid=5472 instance=oadb1 devtype=DISK
RMAN-00571: ===========================================================
RMAN-00569: =============== ERROR MESSAGE STACK FOLLOWS ===============
RMAN-00571: ===========================================================
RMAN-03002: failure of backup command at 12/23/2021 16:03:35
RMAN-20201: datafile not found in the recovery catalog
RMAN-06010: error while looking up datafile: /archive/backup_rrac_da40_32g.dbf

這是由于控制文件記錄的文件名為/dev/rrac_da40_32g,需要將備份的數(shù)據(jù)文件rename成記錄的文件，然后進(jìn)行恢復(fù)：

SQL> alter database datafile 141 offline;
alter database datafile 141 offline
ERROR at line 1:
ORA-01668: standby database requires DROP option for offline of data file
SQL> alter database datafile 141 offline drop;
Database altered.
SQL>  alter database rename file /dev/rrac_da40_32g to /archive/backup_rrac_da40_32g.dbf;
Database altered.

再次恢復(fù)：

RMAN> copy datafile /archive/backup_rrac_da40_32g.dbf to /dev/rrac_da40_32g;
Starting backup at 23-DEC-21
using target database control file instead of recovery catalog
allocated channel: ORA_DISK_1
channel ORA_DISK_1: sid=5475 instance=oadb1 devtype=DISK
channel ORA_DISK_1: starting datafile copy
input datafile fno=00045 name=/archive/backup_rrac_da40_32g.dbf

2.5 開啟實(shí)時(shí)應(yīng)用

打開實(shí)時(shí)應(yīng)用：

alter database recover managed standby database using 
current logfile disconnect;

檢查同步狀態(tài)：

set lines 200
SELECT PROCESS ,STATUS , THREAD#,SEQUENCE#,BLOCKS,BLOCK# FROM gV$MANAGED_STANDBY;
PROCESS STATUS THREAD# SEQUENCE# BLOCKS BLOCK#
--------- ------------ ---------- ---------- ---------- ----------
ARCH CLOSING               2      24914        171          1
ARCH CLOSING               1      32563        330     641025
ARCH CLOSING               2      24912        689    1019905
ARCH CLOSING               1      32565       1119          1
RFS IDLE 0          0          0          0
RFS IDLE 0          0          0          0
RFS IDLE 0          0          0          0
MRP0 APPLYING_LOG 2      24912    1020593     185859
RFS IDLE 0          0          0          0
RFS IDLE 0          0          0          0
RFS IDLE 0          0          0          0

可以看出，此時(shí)已經(jīng)開始應(yīng)用日志。

觀察alert日志報(bào)錯(cuò)：

ORA-01110: 數(shù)據(jù)文件 297: /opt/app/oracle/product/10.2.0/db_1/dbs/UNNAMED00297
打開手動(dòng)管理：
ALTER SYSTEM SET standby_file_management=MANUAL SCOPE=BOTH;

創(chuàng)建到裸設(shè)備：
alter database create datafile /opt/app/oracle/product/10.2.0/db_1/dbs/UNNAMED00298 as /dev/rrac_da197_30g size   30718m autoextend off

開啟實(shí)時(shí)應(yīng)用：

ALTER DATABASE RECOVER MANAGED STANDBY DATABASE DISCONNECT;

打開自動(dòng)管理：

ALTER SYSTEM SET standby_file_management=AUTO SCOPE=BOTH;

多個(gè)文件沒有同步，需要按照上面的步驟重復(fù)，每次都需要重新打開日志應(yīng)用。

同步完成后檢查同步狀態(tài)：

select name,value,unit,time_computed from v$dataguard_stats 
where name in (transport lag,apply lag);

NAME VALUE UNIT TIME_COMPUTED
------------- -------------------- -------------------------
----- ------------------------------
apply lag +00 00:00:00 day(2) to second(0) 
interval 28-DEC-2021 15:22:23
transport lag +00 00:00:00 day(2) to second(0) 
interval 28-DEC-2021 15:22:23

可以看出，同步已追平。

本文原創(chuàng) 來源：IT那活兒微信公眾號(hào)（上海新炬王翦團(tuán)隊(duì)）

云服務(wù)器 GPU云服務(wù)器磁盤壞塊 oracle_dg模式 oracle_dg三種模式 linux 磁盤壞塊

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129684.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

IT那活兒

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

消息中間件故障分析一例

閱讀 1356·2023-01-11 13:20
RAC雙節(jié)點(diǎn)crash回復(fù)一例

閱讀 1707·2023-01-11 13:20
ORA-600處理一例

閱讀 1215·2023-01-11 13:20
雙節(jié)點(diǎn)RAC實(shí)例2 HANG 故障分析一例

閱讀 1906·2023-01-11 13:20
RAC集群節(jié)點(diǎn)1重啟分析一例

閱讀 4165·2023-01-11 13:20
CRS啟動(dòng)報(bào)錯(cuò)CRS-1656處理分享

閱讀 2757·2023-01-11 13:20
oracle 12CR2打補(bǔ)丁報(bào)錯(cuò)處理一例

閱讀 1402·2023-01-11 13:20
分布式緩存組件故障分析及監(jiān)控優(yōu)化

閱讀 3671·2023-01-11 13:20

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

oracle DG備庫磁盤壞塊問題處理

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多精彩內(nèi)容??！

2.1 確認(rèn)損壞的LV

2.2 備份rac_da40_32g

2.2.1 裸設(shè)備數(shù)據(jù)備份到文件

2.3 檢查換盤后數(shù)據(jù)文件狀態(tài)

2.5 開啟實(shí)時(shí)應(yīng)用

本文原創(chuàng) 來源：IT那活兒微信公眾號(hào)（上海新炬王翦團(tuán)隊(duì)）

相關(guān)文章

19C?DG?Broker配置和測試

DG備庫讀寫測試方案

DBASK問答集萃第四期

MySQL 復(fù)制 - 性能與擴(kuò)展性的基石 3：常見問題及解決方案

發(fā)表評(píng)論

0條評(píng)論

IT那活兒

男|高級(jí)講師

TA的文章

消息中間件故障分析一例

RAC雙節(jié)點(diǎn)crash回復(fù)一例

ORA-600處理一例

雙節(jié)點(diǎn)RAC實(shí)例2 HANG 故障分析一例

RAC集群節(jié)點(diǎn)1重啟分析一例

CRS啟動(dòng)報(bào)錯(cuò)CRS-1656處理分享

oracle 12CR2打補(bǔ)丁報(bào)錯(cuò)處理一例

分布式緩存組件故障分析及監(jiān)控優(yōu)化

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

oracle DG備庫磁盤壞塊問題處理

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多精彩內(nèi)容??！

2.1 確認(rèn)損壞的LV

2.2 備份rac_da40_32g

2.2.1 裸設(shè)備數(shù)據(jù)備份到文件

2.3 檢查換盤后數(shù)據(jù)文件狀態(tài)

2.5 開啟實(shí)時(shí)應(yīng)用

本 文 原 創(chuàng) 來 源：IT那活兒微信公眾號(hào)（上海新炬王翦團(tuán)隊(duì)）

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長期優(yōu)惠，快來選購！

點(diǎn)擊上方“IT那活兒”，關(guān)注后了解更多精彩內(nèi)容??！

本文原創(chuàng) 來源：IT那活兒微信公眾號(hào)（上海新炬王翦團(tuán)隊(duì)）