SGMSplunk非结构化数据管理常熟农商银行.docx
《SGMSplunk非结构化数据管理常熟农商银行.docx》由会员分享，可在线阅读，更多相关《SGMSplunk非结构化数据管理常熟农商银行.docx（16页珍藏版）》请在冰豆网上搜索。
SGMSplunk非结构化数据管理常熟农商银行
1项目背景
从2015年起，我行核心账务系统、柜面系统、网银系统、人行二代支付系统、银联系统及本、异地同城支付系统等系统上部署了应用监控系统。
实现了从面向业务和交易的角度，对业务系统的实时监控。
一旦业务系统发生异常，可以提前预警，为运维人员争取更多的故障处理时间和故障解决依据，构建了端到端、全路径的应用性能监控平台，实现了应用梳理、实时监控、智能告警、交易统计、追踪查询等功能。
考虑到应用监控项目涉及内部各个业务系统，去年进行了项目一期的实施，今年进行二期项目的梳理和实施。
2目标及范围
2.1项目目标
应用系统监控分析与实施项目的具体目标如下：
1.建立应用整体监控策略体系：
v确定应用整体监控策略：
根据我行以往应用监控、定位及处置经验，结合实施商项目经验，确定我行应用整体监控策略，应包括：
应用监控范围、应用监控内容、应用监控工具原则、应用系统监控开发技术规范等关键要素【考虑按照：
渠道、中转、核心、外联等类型分别制定监控策略】；
v制定应用监控技术规范：
为实现对于关键应用系统的各项关键监控指标（如：
交易状态等）的采集，针对新开发系统、已有系统，以及不同开发平台（如：
C环境、JAVA环境等）制定相应的应用监控开发技术规范【如：
交易链的跟踪要求】；
v完善非功能需求监控部分：
结合应用整体监控实施策略，完善我行应用系统开发非功能性需求的监控部分，以便相关管理要求及技术规范的落实；
2.实现应用整体生产环境监控：
v应用整体生产环境梳理与分析：
针对我行关键应用系统，全面梳理并分析整体生产环境所涉及的各技术层面、相关层面等内容，明确关键系统所需监控的层次与维度；
v应用整体环境监控指标确定：
根据已梳理的应用整体生产监控环境，确定各层面、各维度的监控指标，并给出采集方法、判别方法、处置建议等关键信息；
v应用整体环境监控技术实现：
根据应用整体监控环境及相关监控指标，通过相关的监控工具及技术手段加以实现，其中应包括：
指标采集、数据处理、数据展现、数据分析等关键功能；
3.实现应用关联关系实时监控：
v应用组件构成关系监控：
梳理构成应用的各类技术组件的构成关系，并通过技术手段实现实时运行监控。
【组件关系】
v根据应用管理团队梳理的应用之间服务关联关系（会话层关系），并结合自动扫描手段，实现应用系统之间服务关联关系的实时监控与报警。
【会话关系】
v应用交易关联关系监控：
根据应用管理团队梳理的应用系统之间交易关联关系，并结合技术手段，实现交易关联关系的自动采集与监控【实现业务链的整体监控与跟踪】
4.实现应用故障定位及详细分析：
v应用故障的监控与定位：
基于应用整体监控实现及关联关系监控手段，实现应用故障的发现与定位能力，并能够根据报警情况，动态调整监控策略；
v应用故障信息实时采集：
在应用系统发生故障的情况下，能够根据已有策略，执行相应操作，实时采集故障现场数据，以便深入分析；
v应用故障成因详细分析：
根据应用故障实时采集数据，能够通过工具的辅助分析，结合技术人员具体经验，给出应用故障成因及改进建议；
2.2项目范围
2.2.1项目涉及的范围
本次项目涉及的范围为常熟农商银行关键应用系统，监控点位扩充至20个，二期项目包括手机银行、电子渠道、统一P、ESB等重要系统，约5个监控点需要二次开发。
常熟农商银行有权按照实施过程中的实际情况，灵活分配监控点的使用。
2.2.2监控实施的范围
本次应用系统监控分析与实施项目，将从实施的技术层面，划分为如下几个主要的实施范围：
1.应用整体环境动态监控实施范围：
针对我行关键应用系统，实现应用整体环境的监控梳理与实现工作【重点为应用组件层关系】；
2.应用服务层关系动态监控实施范围：
重点实施重要应用系统的服务层关系梳理与动态监控工作【服务层/会话层关系监控】；
3.应用交易层关系动态监控实施范围：
核心应用系统的重点交易状态及关系的动态监控；
3技术指标
序号
指标项
指标要求
1
基本要求
系统支持x86架构，支持主流*nix操作系统。
系统采用B/S架构，无须安装客户端程序。
系统支持中文界面，并提供中文手册。
2
数据采集
系统用旁路方式获取网络数据包，不向网络中发送任何数据包，不占用被监控系统主机资源，不对业务应用产生任何影响。
系统提供数据包捕获分析功能。
支持收集流量管理平台保存的网络数据包文件，支持cap、pcap格式。
提供数据归档管理功能，可设置数据过期时间。
数据存储时间可由用户自行选择无限制。
支持数据源自检，能够检测数据包在捕获环节是否存在捕获时丢包，并进行统计。
3
部署方式
支持分布部署、统一监控部署方式。
支持双中心、多中心部署模式。
支持负载分担部署模式，可以跨多个服务器对于所收集数据进行分布式统计、关联和集中呈现。
系统支持多种TCP连接模式的应用交易解码分析，包括常规TCP连接、TCP长连接、异步双工模式的TCP长连接。
4
服务路径自动发现
根据业务应用的网络流量数据，自动生成IP连接关系图，支持IP节点的合并和命名，生成业务系统的服务路径图。
支持业务应用协议识别，能够根据数据样本自动识别业务应用协议类型及端口，如识别为WTC协议。
统计TCP会话记录信息，包括源IP地址、目标IP地址、源端口、目标端口、总字节数、单向字节数、TCPSYN标志位、TCPFIN标志位、TCPRST标志位。
支持分析TCP连接的模式，包括同步TCP、异步TCP。
支持分析TCP连接的可用性，包括单向会话、重复数据。
支持按照IP地址、端口、设备名以及以上条件的组合进行搜索，并在拓扑图上对搜索结果进行标识。
支持多次提取数据，能够在一张拓扑图中更换使用多份数据，并自动对比不同数据源中数据内容的增减。
支持自定义节点的服务端口，并在拓扑图上标识客户端、服务器之间的访问方向。
支持IP地址的过滤。
能够按照组件与IP地址的对照表自动完成梳理。
支持IP地址与设备名的转换显示。
支持即时创建快照，在快照中提供访问关系、节点IP地址和服务端口列表。
支持以快照为编辑的起始点，重新加载数据再次进行编辑。
支持数据包导出，能够按照服务端口导出数据包，能够全局打包导出数据包。
5
图形化配置功能
提供图形化的配置界面，允许用户通过鼠标拖拉的方式定义业务组件以及连接关系，生成业务应用的服务路径图。
通过配置服务路径图，能够体现业务应用的访问关系和依赖关系，显示完整的业务交易路径。
例如一个业务交易，数据在客户端、防火墙、负载均衡、WEB、中间件等各层级应用服务器上流转的前后顺序。
通过配置服务路径图，能够体现业务应用组件服务的网络属性，包括IP地址、端口号、连接模式（TCP短连接、TCP长连接、TCP异步双工模式长连接）。
能够按IP地址段定义站点，能够针对不同网段的客户端，提供IP地址的映射表，表项中包括区域（网段）名称、IP地址（地址段）。
支持设置基准线设置，包括开启、关闭基准线，以及基准线参考周期设置，即按照某个设定的时间周期生成基准线。
6
协议解码
针对标准的XML、SOAP协议，支持配置化的协议解码，通过配置即可完成协议解码与字段提取。
支持VISA、AMEX、JCB、Mastercard、银联、8583等卡交易协议的协议解码。
核心银行：
OracleFlexcubeTATABANCS、FiServeSignature、IBMCBOD、SAP.
SOA协议；IBMWAS、IBMWMB、IBMWMQ、Weblogic、Tuxedo/WTC
支持人行系统协议：
二代支付、大小额、国库、联网核查、超级网银、个人征信、企业征信。
用户可自定义输出到数据库的交易字段。
用户能够自定义交易类型和交易渠道，并在监控界面展现。
7
服务仪表台
提供各应用服务运行状态的总览视图，在单一视图中呈现所有服务路径的最近30分钟的运行状态，提供1分钟数据精度，包括正常、有故障、数据处理中，并支持点击时间片直接关联至服务路径视图。
支持双中心、多中心架构应用的监控，能够完整呈现双中心、多中心部署的应用逻辑拓扑，能够体现应用组件所在的数据中心，以及跨中心应用组件之间的访问关系，并集中呈现所有交易环节的监控指标。
支持异地双活架构应用的监控，包括交易的请求、响应分别在两地的场景，能够通过分布式部署，捕获并关联统计交易结果。
服务路径交易视图支持在单一视图中呈现各应用服务组件的关键指标，支持1分钟更新。
服务路径交易视图支持以时间轴的方式进行历史数据的查询，可以选择日期和时间，精度达到1分钟。
具备站点视图，支持在单一视图中呈现站点区分的关键指标，支持站点选择、搜索，支持站点分组。
在业务拓扑图上，要求具备色彩变化的告警警示功能，并在拓扑图上用色彩变化表标识出警示信息所涉及的业务应用环节，同时在该业务拓扑图上可直接点击显示告警内容。
在服务路径图的组件上支持由指标或告警信息关联至对应组件的统计视图。
支持故障定位的呈现，直接在服务路径上支持标识触发告警的组件，并标识告警原因。
由多台服务器组成的交易环节，要求系统具备展开查看每台服务器的交易关键指标的功能，以每台服务器进行指标统计。
支持双向交易应用的监控，能够分离同一通道中的双向交易，每个交易方向各自做指标统计和分析。
8
统计指标
支持交易笔数、交易成功率、交易响应时间、交易响应率的指标统计。
并提供时序图和快照两种统计方式，支持自行选择时间段。
交易笔数、交易成功率、交易响应时间、交易响应率的指标统计时序图支持实时刷新，并提供至少1分钟的显示刷新频率。
数据统计精度达到1分钟。
针对具备交易类型、交易渠道字段的应用协议，要求提供区分交易类型/交易渠道的统计功能，支持按照交易类型/交易渠道进行交易笔数、交易成功率、交易响应时间、交易响应率的统计。
支持基准线的生成和呈现，交易笔数、交易成功率、交易响应时间指标支持基准线功能，能够在这些指标的时序图中呈现基准线，基准线的颗粒度至少达到5分钟。
支持交易返回码的识别和统计。
支持排名统计，提供按照最差交易性能排名的分析，即可以分析某个时间段内的性能最差的交易排名。
以上指标支持按照组件、服务器主机IP、站点区分进行统计。
支持以服务路径图进行导航，可以直接选择目标应用组件、以及构成某个应用组件的主机IP，以及客户端的站点，支持以所选中的应用组件、某个主机IP、站点为单位进行所有的指标统计和结果呈现。
9
多维度统计
支持5个维度：
交易类型、交易渠道、交易返回码、服务器IP、客户端IP。
支持4个指标统计：
交易笔数、交易成功率、交易响应时间、交易响应率。
支持按照任意维度进行4个指标的统计。
支持多维度统计，比如“交易类型=消费，返回码=00”的交易笔数、交易成功率、交易响应时间、交易响应率统计。
支持从任意维度作为起始点，逐层向下展开统计，比如在交易类型这个统计维度中列出所有交易类型的统计结果，再选择某一个交易类型展开交易返回码维度。
支持从任意维度关联跳转到交易追踪，并传递对应的交易查询条件。
支持将任意维度的统计结果直接导出为CSV。
支持站点区分的统计。
10
交易追踪
交易查询追踪，能够按照时间段、客户端IP、服务器IP、交易类型、交易渠道、交易结果、交易返回码、无响应交易做单一或复合条件进行交易查询。
并且支持增加协议内其他已解码字段作为扩展查询条件。
支持自定义交易关键字，可以选择任意解码字段作为交易关键字，以用作单笔交易追踪的关联字段。
交易查询的结果要求呈现交易请求/响应的摘要结果，提供信息包括交易响应时间、交易结果、交易类型、交易渠道、返回码值、客户IP、服务器IP，以及交易关键字。
交易查询结果要求支持展开为交易的原始记录，原始记录信息中则要求
升级会员 