七号信令集中监测系统底层维护文档.docx

1、七号信令集中监测系统底层维护文档项目名称七号信令集中监测系统项目编号P0000文档名称系统底层维护文档文档编号D0001作者李文先部门完成日期参加人员版本生效日期存档位置七号信令集中监测系统系统底层维护文档公司日期第1章 概述本文档规定当发现系统出现故障时如何处理。阅读本文档时请参照随机文档，此文档在/n7css/目录下。第2章 信令采集设备的维护2.1 如何登录采集设备用telnet PSIP登录到采集设备，出现用户名时输入： team进入超级用户状态用 $ su -2.2 如何配置采集设备配置采集设备用ipsetup命令，用来配置采集设备的IP地址、掩码、广播地址、从AS的IP地址，网关I

2、P、网关掩码。运行ipsetup并键入回车，则显示当前的配置信息、缺省IP地址、版本信息、及帮助信息。注意：配置完毕后，必须重启后配置才生效。重启用reboot命令: #reboot2.3 如何进行配置自动监测自动监测配置用detts命令。键入此命令并按回车，则显示监测配置的过程，并显示已经监测的配置信息。如果采集设备所有需要的目录都能mount到本地，则用/n7css/armdrv/ttschk命令。此命令在监测完毕后把配置信息形成文件放到/SS7Data/PS/PSIP/Config/ConfTs.conf.new。此处PSIP为当前采集设备的IP地址。注意：1. 在进行配置自动监测时，应

3、该先运行safemode命令，并用kill 9 PP_arm进程命令ID杀掉pp_arm进程。请注意查看safemode的打印结果。2. 配置自动监测程序某一时刻只能启动一个进程。如果某一时刻启动的进程超过1个，可能出现不可预期的错误。2.4 如何查看采集设备的目录是否都mount到本地。在采集设备上键入： #mount得到所有mount到本地的目录。2.5 如何启动协议服务器协议服务器有如下程序： pp_arm 协议处理程序(arm监测设备下运行) fp_arm 文件处理程序(arm监测设备下运行) pts_arm TCP服务器程序(arm监测设备下运行) ptc_arm TCP客户端程序(

4、arm监测设备下运行) sysalarm_arm 系统告警程序(arm监测设备下运行) pp 协议处理程序(当前主机下运行) fp 文件处理程序(当前主机下运行) pts TCP服务器程序(当前主机下运行) ptc TCP客户端程序(当前主机下运行) pdc 协议采集程序(当前主机下运行，只在主PS上运行) sysalarm 系统告警程序(当前主机下运行)这些程序中在arm监测设备下运行的程序由监测设备自动启动。在当前主机下运行的程序运行 ./auto_run master #启动主PS。 ./auto_run stopall #停止所有主PS程序。来运行。2.6 如何查看主协议服务器用ps

5、ef 查看进程的运行情况，例如，如果要查看pp进程的运行情况，运行如下命令： ps ef | grep pp在20020911以后的版本中，在/n7css目录下提供了check_n7css工具，运行 ./check_n7css ?显示帮助信息。运行 ./check_n7css mps #检查主PS如果出现显示*的项，表示有不正确的地方。第3章 应用服务器的维护3.1 如何启动/停止应用服务器应用服务器有如下程序： acs 告警与配置服务程序 ats TCP服务器程序 rl 实时入库程序 ass 应用统计服务程序 atc TCP客户端程序 tl 定时入库程序 sysalarm 系统告警程序启动时

6、，可以用脚本auto_runauto_run all启动上面所有7个程序auto_run primary 启动acs/ats/rl/tl/sysalarm五个程序auto_run slave 启动ass/atc/tl/sysalarm四个程序 停止时，也用脚本auto_run auto_run stopall 停止所有AS进程。 以上七个进程可以单独启动。注意上面的每个进程只能启动一次。3.2 如何查看应用服务器的各进程用ps ef 查看进程的运行情况，例如，如果要查看acs进程的运行情况，运行如下命令： ps ef | grep acs在20020911以后的版本中，在/n7css目录下提供

7、了check_n7css工具，运行 ./check_n7css ?显示帮助信息。运行 ./check_n7css pas #检查主AS ./check_n7css sas #检查从AS ./check_n7css as #检查所有的主/从AS ./check_n7css sms #检查短信欢迎如果出现显示*的项，表示有不正确的地方。3.3 如何定时删除数据 在n7css下，用crontab e命令来编辑crontab，输入内容如下：0 1 * * * /n7css/del_ss7_data /SS7Data/ 24编辑完毕后保存退出，则crontab生效。表示晚上一点钟删除24小时以前的数据。

8、Solaris安装后， crontab用的可能是别的编辑器进行编辑，当发现运行crontab运行后出现的不是vi界面，请先设置export EDITOR=vi，然后再运行crontab。 如果硬盘空间不是足够大，可以考虑如下方法： 0 0,6,12,18 * * * /n7css/del_ss7_data /SS7Data/PS/ 2 0 1 * * * /n7css/del_ss7_data /SS7Data/AS/ 24表示在0点/6点/12点/18点删除/SS7Data/PS/目录下2个小时以前的数据，在1点删除/SS7Data/AS/目录下24小时以前的数据。具体删除多长时间以前的数据

9、，根据实际情况决定。第4章 常见问题问答：4.1 当某条链路无负荷时，如何确定故障？1. telnet到采集设备，运行cat /proc/ss7dam，查看板卡采集的信息，其中如果read pro不变，则说明底层没有采集上数据来。此时应查看链路时隙配置是否正确。2. 如果read pro在不断变化，则查看从AS的/SS7Data/PS/PSIP/Stat/*，查看下面的数据是否在不断更新，如果不更新，则可能fp进程有问题，或者数据目录有问题。同时查看/SS7Data/PS/PSIP/stat.idx，如果不更新，则说明nfs配置有问题，或数据目录有问题。注意当PS运行为主/从方式下时，应该查看

10、主PS目录下的数据，而不是从PS目录下的数据。3. 如果从AS的目录/SS7Data/PS/PSIP/的数据在不断更新，则查看/SS7Data/AS/ASIP/Stat/*，查看下面的数据是否在不断更新，如果不更新，则可能ass进程未启动。4. 如果从AS的目录/SS7Data/AS/ASIP/下的数据在不断更新，则查看界面的版本是否是最新版本。5. 注意：/SS7Data/PS/PSIP/stat.idx应该大于等于/SS7Data/AS/ASIP/stat.idx。6. 检查硬盘/, /SS7Data的硬盘已使用空间是否为100%。7. 以上假设所有的进程已经启动，因此按以上步骤检查以前，

11、必须先检查各进程是否启动。4.2 当检测不出配置时，如何进行处理。首先通过实时界面检测配置，当实时界面检测不出配置时，如下进行：#safemode#kill 9 ppid#. /SS7Data/PS/PSIP/Config/.ss7_profile#cd /n7css/armdrv#./ttschk#reboot注意：#是系统提示符。4.3 在solaris下如何解开tar.gz包，并更新版本1. 展开软件包，第一步形成.tar文件，第二步把.tar展开为原始目录结构。gzip d n7css_arm_sol_20020628_1222.tar.gztar xvf n7css_arm_sol_

12、20020628_1222.tar2. 把所有AS进程kill掉。/n7css/ps/auto_run stopall 或者/n7css/as/auto_run stopall3. 更新版本rm rf /n7css/*cp rf n7css/* /n7css/4. 运行AS/PS程序。 注意，如果crontab中设置了自动重启，在更新前最好先停掉。4.4 我在AS上运行了AS程序的脚本，为什么退出后就没有了？在运行了auto_run后，一定要运行exit退出终端，再关闭终端，而不要直接关闭终端。这样，AS的进程就一直运行，而不退出了。4.5 为什么某块板卡上刚启动时有数据，住一段时间就没有数据

13、了？查看ConfTs.conf配置中LinkType是否为未知链路类型，如果是，改为相应的类型（底层是否有数据与此项没有关系，可能是程序的BUG，原因目前未知）。4.6 为什么PS有数据，ASS的进程在运行，但AS什么数据都没有？有如下可能性：1. ASS曾经终止的时间比较长，ASS的统计还没有赶上PS。应该先删掉/SS7Data/AS/ASIP/stat.idx，然后重启ASS。2. AS的硬盘满了。应该运行/n7css/del_ss7_data删除数据。3. 各主机的系统时间/时区是否正确，注意时区必须为东8区。4.7 如何解决数据没有入库的问题？1. 检查/下的空间是否已经装满，/下至少

14、需要500M的硬盘空间2. 检查/SS7Data下的空间是否已经装满，如果装满，要选择合适的文件删除策略。3. 检查sqlldr是否正常运行，如果不能正常运行，则重新安装ORACLE客户端。4. 检查replace命令是否存在，如果不存在，把/n7css/solbin/replace拷贝PATH设定的某个目录中，例如/bin或/sbin。5. 检查tl是否已经运行。如果没运行，则启动此程序(注意为了使启动后的程序从当前时间入库，请删除/SS7Data/AS/ASIP/db.idx文件)6. 检查/SS7Data/AS/ASIP/stat.idx是否比/SS7Data/AS/ASIP/db.id

15、x大很多。如果大很多，可能入库速度比较慢。7. 检查/n7css/as/log下相应的log文件，查看错误信息。4.8 我在实时界面配置了阈值告警，为什么没有在实时界面出现?1. 检查配置的信令点或链路两端的信令点是否在你登录用户的管辖范围内，查看用户信令点配置。2. 从AS的/SS7Data/Config是否mount到主AS的/SS7Data/Config，如果没有，在/n7css/下运行mount_master，并重新配置阈值。3. acs/ats两个进程是否acs先启动，ats后启动。如果曾经kill掉acs或ats，则必须循序重启acs和ats。4.9 如何进行AS/PS常规检查?1

16、. 用top或vmstat工具首先检查内存/CPU利用率是否正常。要求交换分区使用低于2M，CPU利用率低于50%，在5分钟到时，CPU利用率短时间可能超过50%，这属于正常现象。2. 用df k检查硬盘的使用情况。要求/至少有200M硬盘，/SS7Data要存至少二天的数据。3. 用/n7css/check_n7css进行检查。如果出现*的项，则表示此项有错误。 /n7css/check_n7css pas #检查主AS /n7css/check_n7css sas #检查从AS /n7css/check_n7css as #检查AS /n7css/check_n7css mps #检查主P

17、S /n7css/check_n7css sms #检查短信中心4. 检查入库情况。在/n7css/as/log目录下，运行grep ORA *.log如果出现显示结果，则根据显示的文件名查询具体的未入库的原因，如果无显示结果，表示正常。4.10 如何设置程序自动运行1. 设置自动mount原始数据目录找一台负荷较轻的应用服务器，在根目录下建/SS7Raw目录，在此目录下建以所有主PS或主从合一的PS的IP地址为名字的目录（从PS就不必了），再在每个目录下建一个RAW目录，形成/SS7Raw/IP地址/RAW的目录结构，然后把这些PS对应的从AS上的/SS7Data/PS/IP地址/RAW目录

18、分别mount到/SS7Raw/IP地址/RAW目录下。如果负荷较轻的应用服务器挑选的是Turbo Linux服务器，则以root身份修改/etc/fstab，如果是Solaris服务器，则以root身份修改/etc/vfstab。假设PS的IP为192.168.1.1，其从AS的IP为192.168.1.20，则Turbo Linux上的/etc/fstab中增加的条目(6列，用空格或tab键隔开)为：192.168.1.20:/SS7Data/PS/192.168.1.1/RAW /SS7Raw/192.168.1.1/RAW nfs defaults 0 0Solaris上的etc/vf

19、stab中增加的条目(6列，用空格或tab键隔开)为：192.168.1.20:/SS7Data/PS/192.168.1.1/RAW /SS7Raw/192.168.1.1/RAW nfs yes -然后运行mount -a，从系统提示中检查是否所有的目录都mount成功了。在综合统计中，点系统配置界面中的文件位置菜单，假设挑选的负荷较轻的应用服务器IP为192.168.1.10，则文件位置设为192.168.1.10:/SS7Raw/，注意SS7Raw之后一定要有/。2. 设置自动mount主AS的/SS7Data/Config目录。格式与1类似，以Turbo Linux为例：192.16

20、8.1.1:/SS7Data/Config /SS7Data/Config nfs defaults 0 0 3. 设置自动重启AS/PS程序在crontab中增加如下行* * * * * /n7css/ps/auto_start master #启动主PS* * * * * /n7css/as/auto_start slave #启动从AS具体设置启动哪些程序根据实际情况而定。注意2002年10月份以后的版本支持此功能。4.11 如何把单独的PS改成主从PS1. 在从AS上删除原来所有AS/PS的目录，例如：rm rf /SS7Data/AS/192.24.1.10rm rf /SS7Dat

21、a/PS/192.24.1.24/rm rf /SS7Data/PS/192.24.1.25/2. 对于所有的板卡，安装所有从PScd /n7css/./install sps根据提示，输入数据的根目录(直接按回车)、主应用服务器IP地址、主应用服务器主机名(直接按回车)、主协议服务器IP地址(与从AS的IP地址相同)、主协议服务器主机名(直接按回车)、主协议服务器端口(直接按回车)、当前协议服务器IP地址(与当前板卡的IP地址相同)、当前协议服务器主机名(直接按回车)。注意，对所有的主机名，都直接按回车。3. 对于从AS，安装as+mpscd /n7css/./install as+mps根

22、据提示，输入数据的根目录(直接按回车)、主应用服务器IP地址、主应用服务器主机名(直接按回车)、主应用服务器端口(直接按回车)、当前协议服务器IP地址(与从AS的IP地址相同)、当前协议服务器主机名(直接按回车)。注意，对所有的主机名，直接按回车。4. 启动主PS/从AS程序。现在主PS安装到从AS所在的机器上，首先修改/.bash_profile文件，增加或修改如下行. /SS7Data/AS/ASIP/Config/.ss7_profile此处ASIP为从AS的IP地址。重新以n7css登录，如下运行程序cd /n7css/ps./auto_run master #启动主PS程序cd /n

23、7css/as./auto_run slave #启动从AS程序 要重启从PS，直接reboot板卡即可。4.12 在WINDOWS2000下如何支持NTP1. 在DOS命令行下执行如下命令启动SNTP： net time /setsntp:NTP_HOST_IPNTP_HOST_IP为NTP服务器的IP地址，一般为主AS的IP地址。运行如下命令查看SNTP是否启动成功 net time /querysntp2. 点击开始/程序/管理工具/服务，启动windows Time服务，并把启动类型设置为自动。或者在命令行下执行：net start w32time如果系统NTP有异常退出程序，可以把n

24、et time /setsntp:NTP_HOST_IPnet start w32time加到auto_start_sntp.bat文件中，并在任务计划中设置此任务每隔一定时间执行一次。4.13 如何配置系统告警在AS或PS的数据目录中有ConfSystemAlarm.conf的配置文件，用来配置系统告警，对于AS文件位置为/SS7Data/AS/ASIP/Config，对于PS，文件位置为/SS7Data/PS/PSIP/Config。如果数据目录中无此配置文件，则采用当前目录中的此配置文件(/n7css/as/或/n7css/ps)。一般，在安装系统时，会把缺省配置文件安装在当前目录，但这

25、只是最基本的告警信息。要想灵活配置系统，应该把此配置文件拷贝到相应的数据目录，并进行修改，这样在软件升级时，才不至于覆盖已经配置好的系统告警配置文件。ConfSystemAlarm.conf文件为文本文件，每一行表示一个系统告警配置，文件各列的含义如下：1. 系统告警类型(short) 2. 门限值(float)3. 系统告警信息在shell命令中的起始列(short)。4. 系统告警信息在shell命令中的长度(short)。5. 操作(字符串,10)，send表示把告警发送给主AS，其它为shell命令6. 内容(字符串,40)，告警的内容7. 产生系统告警的shell命令行(字符串,25

26、5)其中系统告警类型的含义如下： 1 空闲内存(K)低阈值告警 2 CPU空闲率低阈值告警 3 HD1剩余空间低阈值告警 4 HD2剩余空间低阈值告警 5 HD3剩余空间低阈值告警 6 HD4剩余空间低阈值告警 7 HD5剩余空间低阈值告警 8 HD6剩余空间低阈值告警 9 HD7剩余空间低阈值告警 10 HD8剩余空间低阈值告警 11 PP进程退出服务告警 12 FP进程退出服务告警 13 PTS进程退出服务告警 14 PTC进程退出服务告警 15 ACS进程退出服务告警 16 ATS进程退出服务告警 17 ASS进程退出服务告警 18 ATC进程退出服务告警 19 RL进程退出服务告警 2

27、0 TL进程退出服务告警 21 DB进程退出服务告警22 设备故障23 CDR/TDR表空间(M)低阈值告警24 CDR/TDR索引表空间(M)低阈值告警例如，在某AS（IP地址为192.168.0.2）上检查某板卡(192.168.0.20)是否出现故障，在在系统告警配置文件中增加如下行：22 2 23 1 send 192.168.0.2-192.168.0.20Fault ping -c 5 192.168.0.20 | grep loss此行的目的是判断ping c 5 192.168.0.20 | grep loss的输出结果中从第23个字符(从0开始)开始，长度为1的数字串的结果是

28、否小于2，如果小于2，则产生告警类型为22、告警内容为”192.168.0.2-192.168.0.20Fault”的系统告警，发送到主AS。注意告警内容的字符串中不能有空格。4.14 在solaris下如何修改时间用命令：date mmddHHMM.ss来修改，例如把当前设置为12月5日13点14分5秒 date 12051314.05注意，修改solaris的时间后，所有的板卡与从AS的ntp必须重新启动。4.15 如何集中运行check_n7css。check_n7css目前只限于在一台计算机上运行，当计算机有若干台时，要对于每一台都去执行check_n7css就显得很麻烦。一个比较好的

29、办法是采用rsh，即每个从AS上都配置好rsh，在主AS上，采用rsh循环执行所有从AS上的check_n7css，把结果送到一个log文件中。此脚本(check_all_n7css)的结构如下：#!/bin/bashecho “now begin check the host 192.168.0.1” #检查主AS/n7css/check_n7css as | grep “*”echo “now begin check the host 192.168.0.2” #检查第一个从ASrsh l n7css 192.168.0.2 /n7css/check_n7css sas rsh | gre

30、p “*”可以在crontab中定时执行此脚本，至于如何配置rsh参见4.16。4.16 如何配置rsh。配置rsh分如下步骤：1. 检查/etc/inetd.conf文件，搜索rsh，查看找到的行前面的注释是否去掉，如果未去掉，则去掉，并在/etc/init.d/目录下执行如下命令重启rsh。./inetsvc stop./inetsvc start2在n7css用户的home目录，增加文件.rhosts，在其中加上主AS的IP地址。则主AS上的其它用户就可以用n7css用户执行shell命令了。4.17 如何改变数据文件中的分区编号在AS形成统计/CDR/TDR数据文件时，文件中的最后一列表示分区(Partition)，这个分区编号可以通过配置文件/SS7Data/AS/ASIP/Config/ConfAs.conf中的参数来控制。假设要使1小时周期的TUP/ISUP统计数据保存3个月。按如下步骤操作：1. 编辑每个从AS主机的/SS7Data/AS/ASIP/Config/ConfAs.conf文件，增加如下行：TUPISUP_STAT_PARTITION_TYPE = EVERY_MONTH #分区类型HOUR_TUPISUP_STAT_PARTITION_NUM = 3 #保存3个月2. 重新启动从AS，