基于一键式智能切换的网管容灾系.docx
《基于一键式智能切换的网管容灾系.docx》由会员分享，可在线阅读，更多相关《基于一键式智能切换的网管容灾系.docx（17页珍藏版）》请在冰豆网上搜索。
基于一键式智能切换的网管容灾系
基于一键式智能切换的网管容灾系统
一、项目背景
网管作为网络运维支撑的重要手段，在面向客户，以客户为中心，提高客户满意度的服务模式下，发挥了越来越重要的作用。
网管系统从最初的辅助性系统发展为不可或缺的支撑手段，网管系统的7*24小时不间断服务能力成为这个目标的前提和基础。
当前网管没有建设容灾系统，在灾难影响网管机房运行的情况下，整个网管中心的业务均会停止，不能在短时间内提供业务，会造成较大影响，系统的容灾建设势在必行。
纵观现在各类重要系统（银行、证券、电信）的容灾系统中，容灾切换都是人工控制系统的切换，但由于子系统之间、资源之间复杂关系，导致切换效果不好，切换不成功的案例很多，需要容灾管理软件来清晰定义各种关系，做到一目了然。
在需要容灾切换的时候，只需要找到已定义的计划选择执行，其它的过程可以自动完成，既能提高切换速度，又能提高安全性，减少误操作。
因此基于一键式智能切换的网管容灾系统应运而生。
二、技术方案
（一）容灾规划
为了尽可能的提高系统的容灾能力，虽然没有做在地理上原距离的异地容灾，但也考虑了在济南做三个不同地点的容灾节点，分别是：
经十路、高新区和盛唐巷三个节点，可以防御除大型区域毁灭性的自然灾害（如地震）之外的其他异常情况。
本次容灾建设工程是应用级的容灾建设，针对核心系统要以快速切换为目标，三中心机房任何一处故障，其余两中心能担负起所有网管中心的所有业务。
根据每个系统的特点不同，对各系统规划了不同的容灾要求。
网管中心的核心业务系统容灾规划表：
主要系统
数据库
上报集团
系统特点
容灾要求
告警系统
Informix
实时上报
实时上报
对历史数据依赖
能够快速切换
性能系统
OracleRAC
每小时
每小时上报
依赖历史数据
写数据量大
能够快速切换
Emos三期
OracleRAC
实时上报
实时上报
写数据量相对不大
能够快速切换
集中操作
informix
不上报
不上报
对历史数据不依赖
能够快速切换
资源管理
Informix
不上报
智能巡检
Informix
不上报
现在网管中心的基站代维系统、传输代维系统、地图服务器系统、在线报表系统、Brio系统、互联互通资料库、周报月报系统部署在4台PC服务器上，本次容灾以上系统通过PC服务器的冷备方式实现容灾。
本次容灾系统中对告警、性能、工单、操作维护、资源和巡检提供一键式智能容灾。
构建一个高可用的容灾系统，需要多个层面的规划和实施，如存储、主机、网络等。
根据本项目的建设目标，从主机、备份、软件、网络四个层面实现容灾系统。
1、主机
现在经十路中心4台hp主机（4台hp主机分别以hp1、hp2、hp3、hp4表示）、2台IBM小型机主机（每台三个分区）。
盛唐巷中心购置两台小型机（各4个分区），用于部署性能的容灾系统和网优的生产系统，本次容灾，把现有的性能系统从hp3、hp4上迁移到高新区IBM主机上，并且hp3、hp4主机搬迁至高新区中心，作为告警系统、资源、监控、集中操作几个系统的容灾应用主机。
经十路中心采购6台PC服务器，对应经十路中心的4台PC服务器上应用系统，做冷备容灾系统，其中2台PC服务器用来部署容灾管理软件。
2、备份
备份提供给容灾系统数据存储的介质以及节点内部的网络互通性，涉及备份介质、备份软件（数据库使用的license）及san结构。
1）备份介质：
经十路中心的的备份现状保持不变，不再采购新的硬件，但需要把现有的Legato的informix备份模块从hp-unix迁移到Aix环境。
盛唐巷中心现有PX720带库，可以提供给网管系统2个Driver，磁带32盘的资源使用权。
高新区中心现有3584带库，可以提供给网管系统4个Driver、32盘磁带资源使用权。
2）备份软件：
经十路中心的备份软件维持现状不变，告警数据的备份license从HP-unix迁移到Aix系统。
盛唐巷中心需要采购2个Oracle数据库备份license，给网优系统使用。
高新区中心需要采购2个Oracle数据库备份licese，给性能系统使用，并需要1个文件备份客户端。
3）SAN网络：
盛唐巷中心采购两台SAN交换机，搭建盛唐巷中心存储、带库、主机之间的SAN网路，两台SAN交换机相互冗余。
3、软件
数据是系统运行的基础，在一般的容灾系统中，通过提高存储的灾备及加强备份实现数据的高可用性。
备份方式一般是磁带或盘阵的离线式备份，虽然也有增量和全量备份保证数据的安全，但重点是数据恢复存在不可行的概率并且恢复时间一般都较长。
在本容灾系统中，对数据采用数据库层的方案，即对数据进行同步容灾备份，即满足了存储的灾备，又节约了数据恢复的时间。
为了实现这个目标，对系统主用的oracle数据，使用dataguard软件实现数据库层的同步容灾备份。
另外根据容灾系统的建设要求，还需要以下软件：
新购一套GoldenGate数据库复制软件，供Emos系统数据复制使用。
新购一套Weblogic中间件供性能系统的Web应用发布使用。
新购一套Tuxedo中间件供告警采集使用。
新购一套InformixSDS数据库供告警、巡检、集中操作、资源管理数据库使用，需要从现有的hp设备迁移数据至IBM主机。
新购一套WPS中间件，供EMOS流程容灾端系统使用。
新购一套CFS并发文件系统，供性能系统采集分析、汇总入库功能使用。
新购legato备份软件，一个备份主Server、四个数据库支持模块、五个LAN备份支持模块、32带库槽位支持许可，供整个备份体系使用。
4、网络
现在的经十路中心有两台Cisco4506，需要对cisco4506升级来支持10GE带宽传输，高新区和盛唐巷中心各新增两台Cisco4510R交换机，通过6台交换机搭建三中心10GE互联网络。
经十路中心的两台防火墙不做变动，盛唐巷中心和高新区中心各添加两台支持5G流量防火墙设备，构建网络安全架构，为两个中心的系统提供安全防护。
经十路中心和盛唐巷中心各放置一台负载均衡设备，提供应用系统的负载均衡功能及应用地址切换。
（二）一键式智能切换方案
1、方案设计
基于一键式智能切换的网管容灾系统可以分为前台和后台两部分：
前台——展示和操作部分：
当需要进行灾备切换时，操作员从Web页面发出切换指令，启动切换操作；切换开始后，Web页面可以展示切换进度，其内容根据切换进度实时自动更新，因此操作员可以清楚地看到流程各个步骤是否执行完毕，实时监控切换进度；在切换出现故障或者需要人工操作时，Web页面提供人工操作控制的交互入口，可以对切换进度施加人为影响；在切换完成或需要提前中止时，可以停止切换操作；
后台——控制部分：
含后台主控程序及在代理程序控制下运行于各主机的任务程序，可以实现以不同用户身份在不同主机系统上执行切换指令。
2、体系架构
本系统中，前台通过IISWeb服务器搭建；后台控制部分则是基于主控程序实现的。
在各主机上的切换指令及与主控程序之间的信息传递是由代理程序控制完成的。
3、技术点解析
在前台的主要技术点为多重权限控制，包括授权用户密码登陆权限控制、生产系统切换专用授权（专设用户密码）。
系统通过记录访问日志，可作为不同权限用户行为分析及安全审计的基础。
1）授权用户密码登陆权限控制
描述：
用户需要在登录页面输入授权用户名和密码登陆，才可以进入基于一键式智能切换的网管容灾系统的主Web页面，查看当前切换进度或步骤信息，或者进行人工交互操作。
实现：
通过安全管理模块中的权限管理实现。
在此可以自行创建和定义数据库角色。
目前为基于一键式智能切换的网管容灾系统设定的角色为管理员和操作员，当前具有同样的授权权限，可以为日后可能发生的权限细分扩展提供基础。
在管理员或操作员角色下创建授权用户及密码，生效后即可用以登陆基于一键式智能切换的网管容灾系统的控制页面。
2）生产系统切换专用授权（专设用户密码）
描述：
目前的系统环境分为测试环境、演练环境和生产环境。
在实际切换操作中，生产环境系统的重要性要高于其他环境，因此在切换时增加了一层特殊认证保护。
即使已经以管理员身份登录到了网页控制中心，要想进行生产系统的切换，也必须通过二次认证。
而且会在日志中记录用户的IP地址和发生认证的时间。
实现：
通过安全管理模块中的权限管理实现。
为生产系统切换专用授权设定角色名称，在该角色下所创建的特殊授权用户及密码可以通过二次认证，启动生产系统的灾备自动切换操作流程。
在该角色下创建授权用户及密码，生效后即可以此在基于一键式智能切换的网管容灾系统的二次认证页面以生产系统专用授权登陆。
3）网页访问日志记录
描述：
在用户发生登陆、切换、修改步骤状态等操作时，系统会自动记录用户登陆的IP地址及相应页面轨迹，并将访问记录依据不同IP地址记录为网页访问日志记录，存放在Web服务器上，做到事后有迹可循，更好地明确责任关系。
其中，若以不同权限登陆，还会被记录登陆身份；至于生产系统，只要试图进行特殊登陆进行生产系统切换，就会被记录在访问日志中。
实现：
在IIS服务器上指定日志记录文件夹（一般定于Web页面程序文件夹的下一级），在发生授权用户登陆时获取登陆IP地址，在含有IP地址的日志文件中记录下用户的登陆时间和登陆身份；在登陆后，如果用户转到了某一切换步骤的操作页面，则其发生的人为操作及操作时间也将被记录在对应于该IP地址的日志文件中。
4）初始信息准备
系统的信息化是智能切换的前提和基础，完备和详细的信息能够给切换提供可行的保障。
a）基础构架准备说明：
主控机（Windows主机）：
NetIQAppManager控制中心（含QDB数据库）；
知识脚本：
含运行于主控机的脚本，用于指定系统环境、启动/终止主控程序，及运行于切换主机的脚本，用于接收来自主控程序的流程指令并执行切换操作；
Perl运行环境及切换主控程序；
IIS服务器及Web页面程序；
切换主机（UNIX主机）：
代理程序（连接到主控机管理程序）；
流程分步程序：
多为Shell脚本，若也有Perl程序则需Perl运行环境；
b）数据库表等的准备：
在主控机的QDB数据库中创建如下数据库表：
应用表：
含各应用信息及其对应QML知识脚本；
应用主机表：
含应用与服务器对应关系；
主机状态表：
含各主机在流程中的分步步骤的状态等信息；
切换更新表：
含各主机数据更新记录，可作为数据自动更新展示的基础；
进度表：
含各主机进度信息，可与主控程序交互控制切换进度；
主控程序状态表：
含主控程序信息，保证主控程序根据操作员的要求启动或停止，且不会启动多个实例。
以上数据库表的初始化操作已形成可执行SQL文件，可在主控机上一次性部署。
独立步骤状态更新的SQL过程：
完成数据库智能调度，已经形成SQL文件，可在主控机上一次性部署。
c）流程分步步骤逻辑关系分析的程序化：
根据初始材料《用户操作手册》将应用流程整理分步，并加入各分步之间的等待关系（需要一定量的手工操作），通过Perl程序分析Excel文档制作数据库配置文件。
分析过程的程序化大大降低了人工操作的工作量和复杂度，是本系统的重要技术突破。
d）其他程序：
主控机：
数据库表初始化Perl程序：
在系统环境选择后被调用，根据配置文件完成数据库初始化操作；
切换主控Perl程序：
负责与切换主机上的知识脚本交互，控制各主机上的切换进度；同时负责与数据库的信息交互，更新数据库中的切换进度信息，使得页面可以动态展示进度信息，保证操作员正常监控；
切换结束Perl程序：
切换完成或终止时调用，结束主控程序及NetIQAppManager控制台下的相关知识脚本。
切换主机：
流程分步步骤程序（Shell或Perl）：
完成具体分步操作，与分步步骤的数据库配置文件相匹配。
在流程发生变化的时候需要做相应修改并重新部署到目标主机上。
5）系统环境选择（含数据库信息初始化）
描述：
在使用授权用户密码登陆后，即进入灾备切换主控页面。
在左侧可以看到系统环境选择菜单，含测试环境、生产环境和演练环境。
当点击“系统环境选择”链接时，右侧页面会显示提示信息，依提示操作即可选择系统环境。
在左侧菜单中选择要进行切换的系统环境，单击链接后（生产系统须以专用授权信息通过二次认证）会出现确认页面。
确认后即进入选择的系统环境，此时切换环境已经就绪，可以进入系统切换跟踪，启动具体应用的切换。
实现：
由于系统切换中，各流程的切换状态信息是通过数据库来更新并展示到Web页面的，所以在选择系统环境的时候，会从页面调用带有系统环境识别关键字的初始化Perl程序，将该系统环境下所有流程的初始信息写入数据库。
在操作员访问主控页面时，确认系统环境选择的动作会在控制台上触发我们事先部署好的知识脚本来实现数据库信息初始化的操作，并启动后台流程控制程序负责流程总控。
6）切换流程的启动与自动控制
描述：
在完成系统环境选择后，点击左侧菜单中“系统切换跟踪”目录下的任意链接，即可在右侧页面看到响应流程信息。
若点击一台服务器的链接，右侧将只展示对应服务器上的流程；若点击应用名链接，则可以看到该应用所包含所有主机的流程。
如果该应用符合可以启动切换流程的条件，则会在右侧页面下方出现红色字体的“应用切换开始”，点击文字链接后有确认对话框，确认后将启动该应用的切换流程。
实现：
在点击“应用切换开始”链接后，使用对话框跳转技术进行确认，确保用户并非误点击；确认后从控制台启动各服务器上的知识脚本，该脚本程序运行后，将与控制台所在主机上的主控程序交互，接收主控程序从数据库中查询后分配给各服务器的指令，在本机执行后将运行结果返回给主控程序；主控程序根据各脚本程序发回的反馈信息，对数据库中相应流程状态数据加以更新，然后取得其下一步操作的指令再次下发；直至本应用在此服务器机的所有流程全部完成后，主控程序将会发送指令停止该脚本程序。
7）系统切换流程跟踪中的信息自动更新展示
描述：
在系统切换启动后，在左侧菜单中点击“系统切换跟踪”链接，可以在右侧页面中看到当前的业务系统状态，包括各应用的名称和位置。
在点击其菜单下任意子链接（应用或服务器）时，还可以在右侧页面看到该应用或服务器的流程。
流程表格中，第一行中的数字指示了机器各步骤之间的先后关系，某一数字下所对应的步骤只能等待所有对应数字更小的步骤全部完成后才能启动。
其中，每一步骤都有四种运行状态，每种状态对应一种不同的图标，如下：
未启动：
灰色圆点；
运行中：
绿色圆点，闪烁；
发生故障或需要人工操作：
黄色圆点；
已完成：
绿色圆点。
实现：
前文已述自动切换的自动控制原理。
在控制过程中，流程各步骤的状态信息是由主控程序据其与各主机代理上运行脚本的交互内容来修改的。
而Web页面上的信息主要起到的作用是展示，方便操作员监控当前切换进度与状态。
在Web页面上嵌入了自动更新查询的逻辑，会在自动切换数据库表发生数据更新后自动刷新页面，从而动态展示当前最新内容。
初始化后，各应用状态为“尚未开始切换”，当一个业务系统的所有流程完成后，该应用的状态为“完成”。
此处，业务状态的显示内容分析是以数据库中的切换流程跟踪信息为基础，在Web页面的逻辑分析部分完成的，因此在实际情况发生变化时还需要修改相关Web页面中的逻辑内容。
8）切换流程人工交互处理
描述：
在基于一键式智能切换的网管容灾系统自动切换流程中的人工交互处理分为两种。
一种是在自动切换中的某个步骤在执行中出现了故障，没有完成既定目标，需要人工处理故障；另一种则是被指定为“人工操作”的既定步骤，是机器无法完成的操作或判断等内容，必须由人工介入执行。
当流程中出现需要人工交互处理的步骤时，主控页面上该步骤的指示图标将变为黄色，操作员可以点击黄色图标进入人工交互处理界面，这里可以看到该步骤的手工操作指南，包括人工执行处理指令及核查结果的方法。
据此指示内容完成操作并核查结果无误后，可以在右侧选择该步骤的目标状态为“完成”，点击“确认”标签即可。
此时页面将自动跳转返回主控页面，自动切换程序会继续运行后续流程。
实现：
在自动切换中的步骤在执行中出现了故障，没有完成既定目标时，该步骤的检验程序将会判定结果为“非正常完成”，继而将本步骤的状态信息定义为“等待人工操作”并写入数据库；而被指定为“人工操作”的既定步骤在流程进行到本步骤时，会直接将本步骤状态信息定义为“等待人工操作”并写入数据库。
在以上情况下，该步骤状态信息的数据更新会被页面自动更新程序捕捉，该步骤的指示图标将会根据状态信息显示为黄色。
此时操作员点击黄色图标进入人工交互处理界面，页面将从数据库中查询该步骤所关联的手工操作指南等信息。
在完成操作，确认可以继续进行后续流程，可在页面右侧选择该步骤的目标状态为“已完成”，并点击“确认”标签，页面采用提交表单的方式将该步骤的状态信息根据人工选择内容提取并更新到数据库中，自动切换主控程序在获取新的状态信息后将会自动继续处理后续流程。
9）切换完成，停止主控程序
描述：
当所有需要进行系统切换的应用都已经完成（此时所有进行切换的应用在主控页面的业务系统状态中都会显示完成），或者在发生故障后决定终止放弃当前系统切换操作时，手工结束切换流程。
在实际操作中，点击左侧菜单下方的“完成系统切换”文字链接，即可结束所有后台主控程序，并在右侧给出反馈信息。
如果系统切换程序已经结束，或者在尚未开始切换之前误点击该链接，则系统会给出错误提示信息。
实现：
在点击页面菜单中的文字链接时，程序将从控制台基于知识脚本创建任务到Web服务器上的代理程序，该任务将按照脚本部署的缺省参数，调用其所指定路径下的程序，停止后台主控程序。
自动切换流程至此结束。
三、项目创新点
1、集团内全国第一个实现网管系统异机房容灾，而且是三中心容灾
三中心为经十路中心、盛唐巷中心、高新区中心。
三中心中任何一个中心在软件故障、硬件故障、网络故障、停电、火灾故障情况下，其余两个中心能迅速接管以上业务。
2、生产与灾备节点分担，充分利用投资
本次容灾的三个节点都有主用的生产系统，在其他节点有灾备系统。
如盛唐巷节点是网优系统的主用；高新区是性能分析系统的主用；经十路是其他系统的主用。
这种使方式，即满足了切换灾备要求，也使投资效益最大化，可以充分利用基础资源。
3、采用了一键式智能容灾软件进行管理，判断准确、快速，切换时间快，容灾效率高，过程可视、可控
灾备切换以往都是依靠手工完成，不仅效率低，而且切换时间长，由于人为干预过多导致切换的成功率无法保证。
基于一键式智能切换的网管容灾系统为操作员提供了一个友好的web交互界面，操作相当简单。
当需要进行灾备切换时，操作员从Web页面发出切换指令，启动切换操作；切换开始后，Web页面可以展示切换进度，操作员可以清楚地看到流程各个步骤是否执行完毕，实时监控切换进度；在切换出现故障或者需要人工操作时，Web页面提供人工操作控制的交互入口，可以对切换进度施加人为影响；在切换完成或需要提前中止时，可以自如的停止切换操作过程。
以往切换操作使用命令行的方式进行，整个切换过程不直观，判断切换是否成功比较较难；一键式智能容灾软件使用图形界面展示切换过程，整个切换过程在统一的控制下，直观的显示在页面中，哪里切换成功、哪个步骤有问题一目了然。
基于一键式智能切换的网管容灾系统解决了以往容灾中所不能达到的技术要求，与国内外同类先进技术比较增加了如下优势：
1、安全保障
前台以Web页面访问方式保证操作员登陆的灵活性的同时，以多重授权登陆的方式最大程度上建设系统安全壁垒，以多重确认的方式防止用户的操作失误，又在用户登陆和访问人工操作界面时记录访问日志，为安全审计提供预备资料。
在此基础上，一方面得到授权可以访问并启动系统切换操作的人员范围大大缩减，减少了非法用户登陆系统的可能性；另一方面，即使得到了合法授权，系统访问者的访问时间、地址及轨迹等记录也都会被记录在服务器的日志中，发生任何操作都有案可查。
2、直观表达
由于采用了Web页面方式展示实时切换信息，以表格的方式直观展示流程中各步骤的顺序关系，以图标的颜色标示分步步骤的运行状态，操作员可以更直观地掌握切换系统当前进度。
3、智能交互
在自动切换过程中，如果某一个步骤的执行发生了故障，或者需要既定人工处理，管理员可以根据图标颜色变化准确定位故障或人工处理需求的发生位置，并根据图标链接页面查询到该步骤的人工处理方案。
在完成处理后，修改该步骤状态为“已完成”，即可将后续流程转交自动控制程序继续处理，达到交互处理的效果。
4、可靠高效
流程中的分布步骤都在切换主机本机执行，由代理程序调用本机部署的指令集完成。
5、配置灵活
工作流程以数据库配置文件的方式保存，配置和部署过程通过程序完成，很大程度上简化了人工处理，也为日后可能产生的流程变化提供了灵活性。
四、应用效果
本应用主要用于网管系统的应急灾难恢复，能够在突发灾难等紧急情况下，在极短时间内，在备份服务器上恢复生产业务的正常运营。
采用了一键式智能容灾软件进行管理，同以往的手工切换流程相比具有以下显著优势：
1、缩短了切换时间，降低了人工成本
以往手工切换，由于流程的繁琐复杂，二个操作员至少需要1小时以上的时间才能完成开放多个系统的切换，现在只要一个人在web操作界面上按照流程用鼠标点击切换按钮，15分钟左右即可完成多个系统的切换，极大的缩短了故障恢复时间，工效提高近4倍。
2、减少了人工干预程度，保证了切换的成功率
以往手工流程繁琐复杂冗长，操作员执行起来比较吃力，命令多，时间紧，操作员精神压力大，人为出错的几率也就增大，一次切换的成功率无法保证；现在通过自动切换系统替代了人工键入命令，避免了人为出错的可能，一次切换的成功率很高，原则上只要系统环境正常，切换就会成功。
真正达到了即切即用的要求。
有效保证了系统对外提供服务的可持续性。
3、操作简单，易用性强
以往手工操作，执行过程过分依赖操作员的技术水平，当出现问题时，由于操作员技术水平参差不齐，有些问题无法自行解决。
现在基于一键式智能切换的网管容灾系统为操作员提供了一个简单友好的web交互界面，操作简单，有切换向导且内置了常见问题的解决方案。
当需要进行灾备切换时，操作员只需按照Web页面上的提示点击鼠标，就可发出准确的切换指令，启动切换操作；切换开始后，Web页面可以展示切换进度，操作员可以清楚地看到流程各个步骤是否执行完毕，实时监控切换进度；在切换出现故障或者需要人工干预时，Web页面提供人工操作控制的交互入口，可以对切换进度施加人为影响；在切换完成或需要提前中止时，可以自如的停止切换操作。
4、系统设计可靠、稳定
整个灾备切换系统由两台server组成主、备控灾备切换制服务器；可以保证7*24小时随时能够进行切换操作。
同时整个切换流程保存在数据库中，这样就保证了界面的简单化；人为对流程的干预减少了，切换的成功率也就提高了。
在迄今为止的多次灾备切换演练中；从未发现由于系统设计缺陷造成演练失败。
说明系统稳定性非常高。
可以作为保障IT系统持续性的一个重要手段，也是最后的手段。
总之，灾备切换以往都是依靠手工完成，不仅效率低，而且切换时间长，由于人为干预过多导致切换的成功率无法保证。
基于一键式智能切换的网管容灾系统为操作员提供了一个友好的web交互界面，操作相当简单。
当需要进行灾备切换时，操作员从Web页面发出切换指令，启动切换操作；切换开始后，Web页面可以展示切换进度，操作员可以清楚地看到流程各个步骤是否执行完毕，实时监控切换进度；在切换出现故障或者需要人工操作时，Web页面提供人工操作控制的交互入口，可以对切换进度施加人为影响；在切换完成
升级会员 