CommVault 故障排除手册第一版.docx
《CommVault 故障排除手册第一版.docx》由会员分享，可在线阅读，更多相关《CommVault 故障排除手册第一版.docx（13页珍藏版）》请在冰豆网上搜索。
CommVault故障排除手册第一版
CommVault技术白皮书
CommVault故障排错指南
版本控制：
版本号
版本日期
作者
注释:
1.0
2011/07/22
JiffCheng
第一版:
如何分析日志&如何排错&常用工具.
第一篇：
文档介绍.
备份系统因为涉及到操作系统平台，数据库应用，带库设备.如果遇到错误我们应该以什么样的思路去发现问题并快速寻求答案.
本文档不可能包含所有的问题解决方案，但是提供给我们的是的解决问题的思路和方式。
本文档的主要内容包括两部分：
1）:
日志分析篇
2）:
故障排除篇
3）:
工具使用篇
第二篇：
日志分析篇
系统都有那么日志？
我该去哪里找到需要的日志？
我该如何去查看日志？
这些问题都是我们在故障排除阶段首先需要明确的问题.只有知先发现问题，才能寻找的解决问题的方案.
本章节将介绍CommVault在安装，运维过程中如何利用日志进行故障排错.
1:
安装日志
在CommVault安装过程中如何遇到问题，我该去哪里看日志呢?
SQLServer2005：
CommServe安装首先涉及到SQLServer2005的安装,如果SQLServerd的安装失败，那CommVault模块的安装也将无法继续.
SQL安装的记录日志:
C:
\ProgramFiles\MicrosoftSQLServer\90\SetupBootstrap\LOG\
如果SQL安装失败，请到以上目录找“Summary.txt”查看具体是那个模块失败.然后再去下一层目录Files下找到该模块对应的详细日志分析.
如何查看SQLServer2005安装日志文件
MicrosoftSQLServer安装的主日志位于
%ProgramFiles%\MicrosoftSQLServer\90\SetupBootstrap\LOG\Summary.txt
如果Summary日志文件显示某个“模块”失败，可以通过查看此模块日志（搜索“returnvalue3”）调查失败的根源。
产品日志可位于：
%ProgramFiles%\MicrosoftSQLServer\90\SetupBootstrap\LOG\Files
该日志的命名约定如下：
SQLSetup[XXXX][s]_[COMPUTERNAME]_[PRODUCTNAME]_[Y].log，其中
XXXXX=该安装的枚举数（最后执行的安装具有最大的枚举数）
COMPUTERNAME=正在运行安装程序的计算机
PRODUCTNAME=产品名称（.msi文件的名称），例如：
ReportingServices的SQLSetup0001_MachineName_RS.log、NotificationServices的SQLSetup0001_MachineName_NS.log
Y=如果在一次安装运行中多次安装了MicrosoftWindowsInstaller文件（.msi），则将该数字添加到日志名称上并递增。
?
这主要发生在MicrosoftXMLCoreServices（MSXML）上。
下表包含安装每一个SQLServer组件的示例日志文件名称和日志文件说明。
日志文件
说明
SQLSetup0001_MachineName_Core.log
主SQLServer安装日志文件，包含所有.msi安装成功或失败的信息。
SQLSetup0001_MachineName_SCC.log
SQLServer2005系统配置检查器的详细信息，该检查器在SQLServer安装过程中运行系统检查。
SQLSetup0001_MachineName_SQL.log
数据库引擎安装日志文件。
SQLSetup0001_MachineName_AS.log
AnalysisServices安装日志文件。
SQLSetup0001_MachineName_RS.log
ReportingServices安装日志文件。
SQLSetup0001_MachineName_NS.log
SQLServer2005NotificationServices安装日志文件。
SQLSetup0001_MachineName_DTS.log
IntegrationServices安装日志文件。
SQLSetup0001_MachineName_Tools.log
客户端组件、SQLServerManagementStudio和联机丛书安装日志文件。
SQLSetup0001_MachineName_WI.log
安装用户界面（UI）安装日志文件。
SQLSetup0001_MachineName_SNAC.log
SQLServer本机客户端安装日志文件。
SQLSetup0001_MachineName_.NETFramework2.0.log
.NET Framework 2.0安装日志文件。
SQLSetup0001_MachineName_MSXML.log
MSXML安装日志文件。
SQLSetup0001_MachineName_SQLXML.log
SQLXML安装日志文件。
SQLSetup0001_MachineName_Logs.cab
对于故障转移群集安装，此文件将包含来自所有群集节点的日志。
SQLSetup0001_MachineName_Datastore.xml
对在安装期间缓存的所有属性的转储。
产品支持服务部门可能需要此信息以排除故障与调试错误。
Windows2003平台
Commvault安装日志在windows2003保存在以下目录：
C:
\DocumentsandSettings\AllUsers\ApplicationData\CommvaultSystems\Galaxy
注意：
ApplicationData是系统隐藏目录。
查看日志:
CVInstall.txt
GalaxyInstallerlog.txt
PostInstallScriptOutPut.txt
Windows2008:
Commvault安装日志在windows2008保存在以下目录：
C:
\ProgramData\CommVaultSystems\Galaxy\LogFiles
注意：
ProgramData是系统隐藏目录。
查看日志:
CVInstall.txt
GalaxyInstallerlog.txt
PostInstallScriptOutPut.txt
Unix&Linux
Commvault安装日志在Unix平台保存在以下目录：
/tmp/.gxsetup
注意：
.gxsetup是隐藏目录.
cvpkgadd.log.[xxxxx]
2:
作业日志
作业日志是指CommVault产品已经成功安装，在作业运行阶段的日志信息。
Windows:
Windows的作业日志目录可以从以下注册表中得到:
HKEY_LOCAL_MACHINE\SOFTWARE\CommVaultSystems\Galaxy\Instance001\EventManager
dEVLOGDIR:
【E:
\CommVault\Simpana\LogFiles】
Unix&Linux
Unix的运行日志目录可以从以下命令得到：
#simpanastatus|grep-ilog
LogDirectory=/var/log/simpana/Log_Files
3:
管理日志
管理日志是指CommVault产品的一些配置信息日志，该类型日志主要记整个CommCell域内部的相关操作，包括如下：
License日志、Patch更新、数据时效、防火墙、DR备份等信息
管理日志于作业日志存放在同一目录下：
Windows:
Windows的管理日志目录可以从以下注册表中得到:
HKEY_LOCAL_MACHINE\SOFTWARE\CommVaultSystems\Galaxy\Instance001\EventManager
dEVLOGDIR:
【E:
\CommVault\Simpana\LogFiles】
Unix&Linux
Unix的管理日志目录可以从以下命令得到：
#simpanastatus|grep-ilog
LogDirectory=/var/log/simpana/Log_Files
4:
日志结构：
从上面章节我们大体可以将CommVault的日志分为如下4大类：
1．安装日志:
所有产品模块安装相关日志。
2.管理日志：
数据时效，DR备份，License审核,防火墙配置等相关日志.
3.服务日志:
Windows上的服务,Unix上的Daemon等显示服务对应的，如下进程：
（Cvd,EvmgrC,CvMountd,CvRepSvc…etc）
4.作业日志:
指作业运行才会被启动的进程对应日志.如下进程：
（FileScan,ClOraAgent,Dsbackup..etc）
服务日志和作业日志每个进程会对应一个独立的日志，这样的日志结构能够便于快速查
找和定位错误信息.
注意：
1:
作业进程是动态的，只有在作业发起后才会被启动.所以作业日志也只有作业运行状态下才更新
类似的作业进程如下：
iFind,SrvDb2Agent,ClDb2Agent,SrvOraAgent,ClOraAgent
2:
管理日志并没有显式的对应进程，而是由CVD中的多线程来控制,例如：
DataAgent.License_Db.
本节将介绍CommVault的主要服务进程与日志的对应关系：
CommServe：
CommServe上有那些进程，这些对应哪些日志，如果遇到问题我该去查看哪个日志?
下面的表格描述了CommSereve上的主要进程和对应日志信息。
进程名称
日志名称
日志描述（关联错误类型）
Cvd
Cvd.log
服务启动,网络通讯，端口建立，作业注册，作业状态更新等类型错误
EvMgrS
EvMgrS.log
本地服务与GUI通讯，接受客户端EvMgrC进程浏览信息,GUI操作错误
JobMgr
JobManager.log
作业状态,GUI里的显示错误.
MediaManager
MediaManager.log
MA，带库设备通讯交互,设备类型错误.
AppMgrSvc
AppMgrSvc.log
客户端和CommServe的配置类型错误.
QSDK
QSDK.log
命令行备份的错误
Cvfwd
Cvfwd.log
防火墙错误
SRMServer
SRMServe.log
SRM模块配置，运行错误。
SrvOraAgent.log
Oracle备份/恢复，GUI错误。
SrvDB2Agent.log
Db2备份/恢复GUI错误
管理日志
UpdateInfo.log
补丁更新
DataAge.log
数据时效
xxxx
其他
MediaAgent:
下面的表格描述了MediaAgent上的主要进程和对应日志信息。
进程名称
日志名称
日志描述（关联错误类型）
Cvd
Cvd.log
服务启动,网络通讯，端口建立，作业注册，作业状态更新等类型错误
EvMgrC
EvMgrC.log
客户端和CommCell的GUI通讯，GUI操作错误。
Cvmountd
CVMA.log
介质服务状态，带库设备，介质加载相关的错误
cvlaunchd
Cvlaunchd.log
9.0新引入进程，配合cvd主进程执行所有父进程名利ing发起.
Client:
下面的表格描述了Client上的主要进程和对应日志信息
进程名称
日志名称
日志描述（关联错误类型）
Cvd
Cvd.log
服务启动,网络通讯，端口建立，作业注册，作业状态更新等类型错误
EvMgrC
EvMgrC.log
客户端和CommCell的GUI通讯，GUI操作错误
cvlaunchd
Cvlaunchd.log
9.0新引入进程，配合cvd主进程执行所有父进程名利ing发起.
ifind
FileScan.log
文件系统备份扫描阶段错误
clBackup
clBackupParent.log
clBackupChild.log
数据备份传输阶段日志
clRestore
clRestore.log
数据恢复日志.
其他应用类型
第三篇：
故障排错篇
在第二篇中我们介绍了CommVault中的日志类型，和日志结构，本章将详细介绍不同情形
下的错误该如何去查找日志，
1:
CommSeve故障排错
CommServe上的故障通常表现为1:
服务无法启动;2:
服务正常，CommCell无法登陆.
CommServe服务异常
可能原因:
ØSQL数据库物理或逻辑故障.
查看日志：
SQL日志.SystemEventLog
解决方案：
A:
如果是数据文件逻辑损坏，可尝试用DBCC或DBMaintenance工具修复
DBCC:
进入SQLEM.执行以下语法
usemaster
execsp_dboption[DBNAME],N'single',N'true'
dbcccheckdb（CommServe,REPAIR_ALLOW_DATA_LOSS）
dbcccheckdb（CommServe,REPAIR_REBUILD）
C:
>dbmaintenance–full
DBMaintenance:
可在SIMPANBase目录下找到
B:
如果逻辑修复失败，就要进行物理恢复:
使用DRDump进行物理恢复.
ØODBC连接失败
查看日志：
Cvd.log;EvMgrS.log;CVCsl_Licensing_Dbg.log;
CommCellGUI与数据库通过本地ODBC通讯，其默认绑定用户为”sqladmin_cv”,该用户是在安装过程中默认创建.该账户默认同步数据库中的用户密码和注册表中的pACCESS键值：
HKEY_LOCAL_MACHINE\SOFTWARE\CommVaultSystems\Galaxy\Instance001\Database\
如果在SQLServer人为删除或修改了账户密码，注册表没有同步，那么ODBC连接将失败.
解决方案:
A:
到数据库装将密码还原为原始密码。
B:
用“CreateCSSQlAccont”工具同步数据库与注册表:
（该工具可在RP中找到）
createCSSQLAccount-server[CSV8\COMMVAULT]-saloginsa-sapwd[commvault]-csloginsqladmin_cv-cspwd[jiff123]-SetRegistryInstance001
createCSSQLAccount-server[CSV8\COMMVAULT]-saloginsa-sapwd[commvault]-csloginsqladmin_cv-cspwd[jiff123]-CreateSQLLogin
ØIP地址变更/Hosts表变更
如果有IP地址变更,或HostsFile中CommSeve注册主机名对应了不一致的IP地址.也会导致服务异常.
解决方案：
1）:
从CVCsl_Licensing_Dbg.log确认查找现在的当前使用IP与注册IP的冲突信息。
然后修改为正确IP地址.
2）:
如果是使用DNS进行名称解析。
确认DNS双向解析正确.
3）:
如果是使用HOSTS来进行名称解析。
确认HOSTS表中的对应关系是否正确.
CommCell
1:
是否启用SSO,域服务器同步异常。
域用户账户密码过期，
域用户被锁。
权限组被更改.
2:
MA故障排错
MA脱机
可能原因：
通信异常，服务端口被占用，防火墙限制.
查看日志:
CVMA.log,Cvd.log,Cvfwd.log
检查以上日志，查看是否有端口错误，
190471660705/1518:
44:
20###SERVICE[]SuccesfullyupdatedIndexCacheInfointheregistryforhost[cv_BI2DW1].
1904716105/1518:
44:
20###SERVICE[]:
CVMAservice.cpp:
1441:
GoingtoReleaseReceiverSemaphoreinCVMA_RESYNC_REQ
1904716105/1518:
44:
25###CVMAService:
:
getMLMMsgInstance（）-:
*****NOCONNECTIONTOMEDIAMANAGERSERVICE,STARTANEWONE*****
1904716105/1518:
44:
25###Connectto192.168.0.47:
2698failed:
Connectionrefused
1904716105/1518:
44:
25###CVMAService:
:
getMLMMsgInstance（）-:
CVMAservice.cpp:
1287:
*****MEDIAMANAGERSERVICEISDOWN*****
190471630405/1518:
44:
25###THREADS[]CVMAServantThreadthreadstarts:
ThreadId=772
解决方案：
确认本地端口服务是否正常，是否有被占用或冲突.不同平台确认方式如下：
Windows:
CMD>netstat-ano|find"port"
Linux:
#netstat-anp|grep"port"
#lsof
AIX:
#netstat-Aan|grep1334
HP&Solaris:
#lsof（该工具可从网上下载获取）
B:
确认MA于CS的通讯正常.
Cvping[hostname]
Telenet[hostname][Port]
2:
CV_Mount错误:
CVMount磁带分为三个步骤:
1:
CvMount进程控制LibraryMove磁带.
2:
驱动器Load磁带.
3:
OML验证
如果MA无法Mount介质，我们需要从以上三个方面去查看日志.
A:
Move介质:
查看Library[xx]_C[xx].log.
B:
Load介质:
查看CVMA.log
C:
OML验证:
查看CVMA.log
D:
是否有系统服务控制产生冲突（WindowsSRM,HPEMS,HPManagerAgent）
E:
是否有第三方带库控制软件同时在控制带库.
3:
DataWriter（DataMover）错误:
如果介质已经正常Mount,却无法写入需要从以下方面去查看日志
A：
Cvd.log（Cvd是控制DataMove的主进程.同时协调CVMA.DmWrite,DsBackup）
B:
CVMA.log介质加载的BlockSize是否有匹配错误
C:
DsBackup&DmWrite.查看是否写入错误.
D:
是否有系统服务控制产生冲突.
例如:
（WindowsSRM,HPEMS,HPManagerAgent）
E:
是否有第三方带库控制软件同时在控制带库.
3:
Library故障排错
带库异常因为涉及硬件因素，所以会有太多的因素影响，对于带库异常我们应该采取：
”排
除定位法”确认问题的根源是：
硬件，链路，系统，还是CV本身.
影响因素:
操作系统版本，链路连接。
Libbrary型号，驱动版本，驱动器型号，驱动，Firmware
HBA卡型号，驱动，Firmware.
4:
通讯故障排错
5:
文件备份故障排错
文件备份分为如下步骤：
通信握手，扫描，介质加载，数据传输，备份索引.
在CommCellGUI上你看到的不同的阶段的错误就要去查看不同的错误
1：
作业0%立即失败：
此阶段是CommServe与Client建立通信连接失败，确认客户端服务是否正常.：
CommSeve检查日志:
Cvd.log,JobManager.log，EvMgrS.log,
Client检查日志:
Cvd.log,EvmgrC.log
2:
作业5%停留或失败:
此时说明CommServe与Client进程通信已经正常建立，只是客户端Ifind进程在文件扫描；
或Client于MA无法通信，MA上CreateIndex失败,检查以下日志
Client检查日志:
FileScan.logClBackup.logCvd.log
MediaAgent检查日志：
Cvd.logCreateIndex.log
3:
作业25%停留或失败:
此时文件扫描已经完成，MAMount介质或或建立DataPipe时遇到异常
CommServe检查日志：
MediaManager.log
MediaAgent检查日志:
CVMA.log,ClBackupParent.log,ClBackupChild.log,Cvd.log（Windows）
Client检查日志：
CVd.log,ClBackupxxx.log,Cvfwd.log
4:
作业90%停留或失败:
文件备份停留在90%，表明数据备份已经完成，MA在备份索引阶段遇到异常;此时遇到错误可以清楚了解错误和客户端已经没有关系，问题出在CommServe和MA之间
CommServe检查日志：
Cvd.logJobManager.log
MediaAgent检查日志:
Cvd.log,ArchiveIndex.log
6:
文件恢复故障排错
1：
无法浏览文件列表:
如果从CommCell无法浏览文件列表，检查日志:
CommServe检查日志:
Browse.log,Cvd.log
MediaAgent检查日志:
Cvd.log,EvmgrC.log
检查项目:
A：
是否CommServe时间被调前.
B:
MA无法访问，IndexCache是否可访问.
2:
无法加载磁带.
检查日志:
CommSer
升级会员 