联系：手机/微信(+86 17813235971) QQ(107644445)
作者：惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]
客户双活存储异常之后,单个存储运行,故障存储修复之后,双活同步,出现多套系统异常,上一篇:Control file mount id mismatch!故障处理,这套是win的rac无法正常启动,ocr磁盘组异常(报ORA-600 kfrValAcd30无法正常mount)
C:\Users\Administrator>crsctl start cluster -all CRS-2672: 尝试启动 'ora.crf' (在 'xff2' 上) CRS-2672: 尝试启动 'ora.asm' (在 'xff2' 上) CRS-2672: 尝试启动 'ora.crf' (在 'xff1' 上) CRS-2672: 尝试启动 'ora.asm' (在 'xff1' 上) CRS-2676: 成功启动 'ora.crf' (在 'xff2' 上) CRS-2676: 成功启动 'ora.crf' (在 'xff1' 上) CRS-5017: 资源操作 "ora.asm start" 遇到以下错误: ORA-00600: internal error code, arguments: [kfrValAcd30], [OCR_VOTE], [1], [14], [7556], [15], [7584], [], [], [], [], [] 。有关详细信息, 请参阅 "(:CLSN00107:)" (位于 "F:\app\grid\Administrator\diag\crs\xff2\crs\trace\ohasd_oraagent_system.trc" 中)。 CRS-2674: 未能启动 'ora.asm' (在 'xff2' 上) CRS-2679: 尝试清除 'ora.asm' (在 'xff2' 上) CRS-5017: 资源操作 "ora.asm start" 遇到以下错误: ORA-00600: internal error code, arguments: [kfrValAcd30], [OCR_VOTE], [1], [14], [7556], [15], [7584], [], [], [], [], [] 。有关详细信息, 请参阅 "(:CLSN00107:)" (位于 "F:\app\grid\Administrator\diag\crs\xff1\crs\trace\ohasd_oraagent_system.trc" 中)。 CRS-2674: 未能启动 'ora.asm' (在 'xff1' 上) CRS-2679: 尝试清除 'ora.asm' (在 'xff1' 上) CRS-2681: 成功清除 'ora.asm' (在 'xff2' 上) CRS-2673: 尝试停止 'ora.crf' (在 'xff2' 上) CRS-2677: 成功停止 'ora.crf' (在 'xff2' 上) CRS-2681: 成功清除 'ora.asm' (在 'xff1' 上) CRS-2673: 尝试停止 'ora.crf' (在 'xff1' 上) CRS-2677: 成功停止 'ora.crf' (在 'xff1' 上) CRS-4705: 无法在节点 xff1 上启动集群件。 CRS-4705: 无法在节点 xff2 上启动集群件。 CRS-4000: 命令 Start 失败, 或已完成但出现错误。
因为是ocr磁盘组操作比较简单,直接重建该磁盘组，还原ocr等即可
C:\Users\Administrator>asmtool -list
NTFS \Device\Harddisk0\Partition1 300M
NTFS \Device\Harddisk0\Partition4 599472M
NTFS \Device\Harddisk0\Partition5 1000000M
ORCLDISKDATA0 \Device\Harddisk1\Partition1 1048587M
ORCLDISKDATA1 \Device\Harddisk2\Partition1 1048587M
ORCLDISKDATA2 \Device\Harddisk3\Partition1 1048587M
ORCLDISKDATA3 \Device\Harddisk4\Partition1 1048587M
ORCLDISKDATA4 \Device\Harddisk6\Partition1 460797M
C:\Users\Administrator>crsctl start crs -excl -nocrs
CRS-4123: Oracle 高可用性服务已启动。
CRS-2672: 尝试启动 'ora.evmd' (在 'xff2' 上)
CRS-2672: 尝试启动 'ora.mdnsd' (在 'xff2' 上)
CRS-2676: 成功启动 'ora.mdnsd' (在 'xff2' 上)
CRS-2676: 成功启动 'ora.evmd' (在 'xff2' 上)
CRS-2672: 尝试启动 'ora.gpnpd' (在 'xff2' 上)
CRS-2676: 成功启动 'ora.gpnpd' (在 'xff2' 上)
CRS-2672: 尝试启动 'ora.cssdmonitor' (在 'xff2' 上)
CRS-2672: 尝试启动 'ora.gipcd' (在 'xff2' 上)
CRS-2676: 成功启动 'ora.cssdmonitor' (在 'xff2' 上)
CRS-2676: 成功启动 'ora.gipcd' (在 'xff2' 上)
CRS-2672: 尝试启动 'ora.cssd' (在 'xff2' 上)
CRS-2676: 成功启动 'ora.cssd' (在 'xff2' 上)
CRS-2672: 尝试启动 'ora.ctssd' (在 'xff2' 上)
CRS-2676: 成功启动 'ora.ctssd' (在 'xff2' 上)
CRS-2672: 尝试启动 'ora.asm' (在 'xff2' 上)
CRS-5017: 资源操作 "ora.asm start" 遇到以下错误:
ORA-00600: internal error code, arguments: [kfrValAcd30], [OCR_VOTE], [1], [14], [7556], [15], [7584], [], [], [], [], []
。有关详细信息, 请参阅 "(:CLSN00107:)" (位于 "F:\app\grid\Administrator\diag\crs\xff2\crs\trace\ohasd_oraagent_system.trc" 中)。
CRS-2674: 未能启动 'ora.asm' (在 'xff2' 上)
CRS-2679: 尝试清除 'ora.asm' (在 'xff2' 上)
CRS-2681: 成功清除 'ora.asm' (在 'xff2' 上)
CRS-2673: 尝试停止 'ora.ctssd' (在 'xff2' 上)
CRS-2677: 成功停止 'ora.ctssd' (在 'xff2' 上)
CRS-4000: 命令 Start 失败, 或已完成但出现错误。
C:\Users\Administrator>sqlplus / as sysasm
SQL*Plus: Release 12.1.0.2.0 Production on 星期四 5月 4 13:52:07 2023
Copyright (c) 1982, 2019, Oracle. All rights reserved.
已连接到空闲例程。
SQL> startup nomount pfile='f:/pfile_asm.txt';
ASM 实例已启动
Total System Global Area 1140850688 bytes
Fixed Size 3054680 bytes
Variable Size 1112630184 bytes
ASM Cache 25165824 bytes
SQL> create diskgroup OCR_VOTE external redundancy disk '\\.\ORCLDISKDATA4' force attribute 'COMPATIBLE.ASM' = '12.1.0';
Diskgroup created.
F:\>ocrconfig -restore backup00.ocr
F:\>crsctl replace votedisk +OCR_VOTE
已成功添加表决磁盘 e2b8fdbd05ae4f9fbf3531630853dbbc。
已成功将表决磁盘组替换为 +OCR_VOTE。
CRS-4266: 已成功替换表决文件
F:\>crsctl query css votedisk
## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE e2b8fdbd05ae4f9fbf3531630853dbbc (\\.\ORCLDISKDATA4) [OCR_VOTE]
找到了 1 个表决磁盘。
F:\>ocrcheck
Oracle 集群注册表的状态如下:
版本 : 4
总空间 (KB) : 409568
已用空间 (KB) : 1348
可用空间 (KB): 408220
ID : 820087446
设备/文件名 : +OCR_VOTE
设备/文件完整性检查成功
设备/文件尚未配置
设备/文件尚未配置
设备/文件尚未配置
设备/文件尚未配置
集群注册表完整性检查成功
逻辑损坏检查成功
mount其他磁盘组成功
SQL> alter diskgroup arch mount; Diskgroup altered. SQL> SQL> alter diskgroup data mount; Diskgroup altered.
尝试恢复数据库失败
C:\Users\Administrator>sqlplus / as sysdba SQL*Plus: Release 12.1.0.2.0 Production on 星期四 5月 4 14:09:39 2023 Copyright (c) 1982, 2019, Oracle. All rights reserved. 已连接到空闲例程。 SQL> startup mount; ORACLE 例程已经启动。 Total System Global Area 2.0992E+11 bytes Fixed Size 7797816 bytes Variable Size 1.3798E+11 bytes Database Buffers 7.1672E+10 bytes Redo Buffers 260636672 bytes 数据库装载完毕。 SQL> recover database; ORA-10562: Error occurred while applying redo to data block (file# 13, block#1033775) ORA-10564: tablespace USERS ORA-01110: 数据文件 13: '+DATA/XFF/users07.dbf' ORA-10561: block type 'TRANSACTION MANAGED DATA BLOCK', data object# 40396 ORA-00600: 内部错误代码, 参数: [kdolkr-2], [2], [1], [44], [], [], [], [], [],[], [], [] SQL> recover datafile 2; ORA-00283: 恢复会话因错误而取消 ORA-00742: 日志读取在线程 1 序列 60656 块 1150508 中检测到写入丢失情况 ORA-00312: 联机日志 3 线程 1: '+DATA/XFF/redo03.log' SQL> recover datafile 1; ORA-00283: 恢复会话因错误而取消 ORA-00742: 日志读取在线程 1 序列 60656 块 1150508 中检测到写入丢失情况 ORA-00312: 联机日志 3 线程 1: '+DATA/XFF/redo03.log' SQL> recover datafile 10; ORA-00283: ?????????? ORA-10562: Error occurred while applying redo to data block (file# 10, block# 2899468) ORA-10564: tablespace USERS ORA-01110: ???? 10: '+DATA/XFF/users04.dbf' ORA-10561: block type 'TRANSACTION MANAGED DATA BLOCK', data object# 40396 ORA-00600: ??????, ??: [ktbair2: illegal inheritance], [], [], [], [], [], [],[], [], [], [], []
除了ORA-00742,还有其他一些日志应用错误,比如:ORA-600 ktbair2: illegal inheritance,ORA-600 kdolkr-2等,无法正常应用日志,尝试强制打开库,报ORA-600 2662错误.
SQL> alter database open resetlogs; alter database open resetlogs * 第 1 行出现错误: ORA-00603: ORACLE server session terminated by fatal error ORA-00600: internal error code, arguments: [2662], [8], [678024613], [8], [678508930], [12583040], [], [], [], [], [], [] ORA-00600: internal error code, arguments: [2662], [8], [678024612], [8], [678508930], [12583040], [], [], [], [], [], [] ORA-01092: ORACLE instance terminated. Disconnection forced ORA-00600: internal error code, arguments: [2662], [8], [678024610], [8], [678508930], [12583040], [], [], [], [], [], [] 进程 ID: 4628 会话 ID: 996 序列号: 48547
通过自研的Patch_SCN工具快速解决该问题
open数据库成功,实现最大限度抢救客户数据.