中国移动集中性能管理应用落地手册第七分册客户感知溯源分析Word下载.docx

1、4、 落地细则 24.1 指标体系 34.1.1 指标列表 34.1.2 指标管理对象 54.1.3 评估标准 54.2 分析方法 54.2.1 单用户投诉细分问题场景分析 54.2.2 群体客户主动监测分析 104.2.3 评价标准 144.3 支撑手段 144.3.1 指标采集 154.3.2 指标呈现 154.3.3 网管视图 154.3.4 派单闭环管理 194.3.5 评估标准 204.4 分析流程 204.4.1 问题发现 204.4.2 问题分析 204.4.3 任务工单派发 204.4.4 任务工单处理及反馈 204.4.5 评估标准 214.5 问题督导 214.5.1 关键

2、问题处理指导 214.5.2 跟踪问题处理 224.5.3 评估标准 234.6 评估考核 234.6.1 工作开展周期评估 234.6.2 工作开展流程评估 234.6.3 工作开展成效评估 234.6.4 评估标准 23附录1：样本数据处理算法 24附录2：指标标准化 281、范围本文档描述了中国移动客户感知溯源分析工作的落地细则，供各省公司进行客户感知保障及异常定位使用。2、背景及目标4G的商用使我们真正进入移动互联网时代，客户满意度调查显示，覆盖与上网速率（包括响应时延）已超过语音质量、资费因素成为了当前客户最关注的问题，而数据业务的客户感知正是当前网络维护的薄弱环节，越来越多的客户因

3、为上网感知问题而考虑转网。因此，准确监测客户感知情况、识别感知异常、进行溯源分析、定界定位异常原因并加以优化保障逐渐成为确保客户手机上网感知及发展公司业务的关键工作，是4G时代集中性能管理的重要应用之一。本文档通过建立基于客户感知的网络质量评估体系、感知监测溯源及分析保障的流程方法、工单闭环管理等环节，实现对区分客户感知问题的监测、溯源、分析、保障、考核评估的闭环管理，指导各省有效开展客户感知溯源分析工作，确保客户手机上网感知。3、衡量标准从客户感知溯源分析的生产管理过程和指标提升效果两个层面分别明确衡量标准，确保工作落地的整体成效。3.1指标体系具备明确的基于客户感知的网络质量评估体系指标集

4、列表，包含（不限于）指标名称、定义、算法、阈值。其中指标阈值各省可根据实际情况自定义。3.2分析方法对于客户感知异常的问题点，具有详细判断规则、分析方法及解决措施。3.3支撑手段1）通过网管、经分、信令监测系统采集客户感知监测及保障所需相关数据；2）具备感知异常客户（个体或群体）网络行为指标生成、呈现、输出能力，以及所聚类到的问题维度的指标生成、呈现、输出。3.4分析流程1）常态化开展客户感知溯源分析工作：不低于周粒度开展感知问题专题分析工作，做到基于客户感知的网络质量指标有人看，客户感知问题有人分析、定位，后续处理过程有跟踪；2）省公司对客户感知问题进行处理分析：对客户感知问题进行分析定位，

5、根据分析结果准确派单至处理人；3）地市公司根据任务工单要求开展客户感知问题的处理及结果反馈。3.5问题督导跟踪地市公司任务工单处理过程，尤其对于处理难度较大的非实时任务工单，省公司需提供处理建议，并将内容记录在工单处理详情中，可供处理人员随时查阅。3.6评估考核1）建立评估考核机制，定期抽检分析结果和任务工单的执行情况；2）是否定期跟踪评估体系指标变化，评估指标是否有好转。4、落地细则按照客户感知溯源分析工作内容，分别制定并细化工作内容、工作要求及标准，实现客户感知保障各项应用的常态化运行及管理。1指标体系：具备明确的基于客户感知的网络质量评估体系指标列表，并明确指标获取途径,可通过信令监测系

6、统、网管平台或经分获取。2支撑手段：重点实现针对不同特征客户感知的监测及保障，明确指标采集途径，能够系统呈现感知相关指标。3分析方法：具备感知评估、监测及保障的详细算法及流程。4工单管理：要能够以工单系统实现区分客户的感知监测及保障闭环管理。5问题督导：要对指标反映的问题给出明确的解决建议，跟踪处理进展，督促及时解决。6效果评估：要审核评估工单处理结果，定期考核处理质量，总结提升流程运转情况。图1 应用落地流程示意图4.1指标体系4.1.1指标列表客户感知评估溯源指标体系充分利用LTE S1u、S1ap、S11、S6a、Sgs接口、Gn接口、Mc接口信令数据以及网管数据、经分数据等，从接入性、

7、完整性两个方面，附着指标、管道建立指标、DNS查询指标、连接建立指标、业务指标5大指标集建立贴近客户使用体验的感知评价，感知评估溯源共计13项指标。数据通过流式处理进行各接口关联采集，存储的最小粒度如下：样本1：某客户，终端，时间段，小区w1，核心网HSS x1,MME y1，SAE-GW z1下附着和激活行为的指标1，指标2 样本2：某客户，终端，时间段，小区w2，核心网SAE-GW z2下新浪微博图片业务的指标1，指标2 同时，准确评价客户感知，需要充分考虑客户的主观性，因此在评估中加入客户心理因素，争取做到主观性、客观性充分结合，客户感知的心理因素包括群体性影响、经验影响、预期影响、关键

8、性影响，以此为基础确立挖掘5个评估维度，分别是事不过三、紧急、换机、突变、周围客户对比，从该5个维度对感知评估溯源的13项指标进行评估分析，可充分结合客户感知的主客观因素，有效反应客户感知好坏。客户感知溯源评估指标：指标名称指标定义指标数据源接入性Attach成功率附着成功次数/附着总次数信令数据Attach时延附着成功时长EPS缺省承载建立成功率承载建立成功次数/承载建立总次数EPS缺省承载建立时延承载建立成功时长DNS查询成功率DNS查询成功次数/DNS查询总次数DNS查询时延DNS查询成功时长TCP（核心网）成功率核心侧TCP通道建立成功次数/TCP通道建立总次数TCP（核心网）时延核心

9、侧TCP通道建立成功时长TCP（无线）成功率无线侧TCP通道建立成功次数/TCP通道建立总次数TCP（无线）时延无线侧TCP通道建立成功时长完整性 HTTP业务成功率HTTP业务请求成功次数/请求总次数HTTP响应时延HTTP业务建立成功时长HTTP下载速率HTTP业务下载速率客户感知评估五维度，基于以上13项指标数据进行评估：维度名称维度定义事不过三当客户在使用过程中根据历史使用心得对比发现近期下载速率出现下降，或出现反复无法打开网页的情况，会直接影响客户感知。（可从成功率、时延、速率类指标进行评估）紧急当客户在特殊场景下使用特定业务，如地图类app，该业务直接影响客户的下一步行为，因此客户

10、对于此类业务需求是急迫的，无法正常使用会直接影响客户感知。（可从成功率、时延类指标进行评估）换机对于新加入4G网络的客户，对于使用体验的预期会有所提升，一旦发生实际体验低于之前的体验，会直接影响客户感知。（可从时延、速率类指标进行评估）突变当客户在使用过程中根据历史使用心得对比发现近期下载速率突然出现下降，或突然出现反复无法打开网页的情况，会直接影响客户感知。周围客户对比当客户和其他人相互交流使用心得，一旦发现自己的速率低于其他人，会直接影响客户感知。4.1.2指标管理对象由性能管理团队对指标进行简单判断，分析性能指标劣化的负责专业，确定实时性能指标劣化问题的管理对象4.1.3评估标准4.2分

11、析方法4.2.1单用户投诉细分问题场景分析面向客服人员、投诉处理人员，输入用户手机号码和时间，即可实现手机上网记录查询和问题诊断定界；以端到端图形化界面呈现问题环节，并提供处理建议，提高投诉处理效率，重点满足如下3项需求：1）前台客服计费类咨询，查询用户上网记录；2）前台客服预处理，对一些简单直接的问题进行合理解释，如用户数据问题、访问SP服务器故障等；3）省市投诉处理人员快速定位网络问题，如用户所在的问题无线侧小区、核心侧网元问题等。以用户问题定界分析为例，针对投诉用户，基于网络侧的信令，从网络附着、承载建立、DNS交互至业务访问6个步骤细分出18类问题场景，进行用户问题分析。应用失败码分类

12、定界法、前后信令消息关联定界法、横向对比定界法三类分析定界方法，进行问题场景定界分析。失败码分类定界法针对有失败消息，且返回失败代码的场景，可结合协议定义及日常问题处理专家经验，根据失败代码进行问题归类总结，定界到各问题环节。附着失败定界分析示例：前后信令消息关联定界法针对无失败事件，或者，虽然有拒绝消息代码等事件, 但这些代码不能明确指示问题所在，需要进行前后消息关联来进行判断的情况。频繁TAU定界分析示例：横向对比定界法针对通过上述两种方法无法确定问题环节，需要进行横向对比、逐一排除。从终端、小区、业务等不同维度横向对比用户行为和质量指标，采用排除法聚焦到导致问题的特征场景，实现问题定界。

13、以两个具体客户投诉案例进行定界过程说明：案例一：某客户投诉2014年12月16日中午在福州鼓楼医院附近网络不稳定，投诉溯源分析流程如下：1）结合用户活动轨迹的信令和业务还原追踪客户网络行为可在地图上呈现终端客户途经的小区，并按照时间先后顺序联线，形成客户的移动轨迹。在客户途经的小区上标出信令、业务的微缩图标，图标上用字母简要标出信令和业务过程。分析结果：运维人员准确发现了该客户12月16日15点左右曾发生异常，具体问题是“页面超时未响应”或“部分内容断点续传”。2）小区维度分析从小区维度，系统直观的展现了该客户在多个小区的TCP 核心网时延、TCP无线时延、HTTP业务时延均偏高（无响应），业

14、务成功率较低，由此，基本排除单独小区维度原因。 3）业务维度分析从业务维度，发现该客户在使用多类不同SP（如360云盘、招商银行等）、不同业务（下载、支付等）时均会出现类似异常，其中网关超时占了绝大部分比例，并且这些SP分布并不存在规律性，由此，基本排除业务问题原因。4）终端维度分析溯源分析-终端维度分析：从终端维度，发现该款终端coolpad 8730L的tcp（无线）时延与http成功率评分均较低，网络性能整体评分较差。从而最终将问题定位为：该款终端在网络质量较差情况下存在无线处理性能问题（TCP处理质量异常）。结论：该投诉为终端原因导致。案例二：收到客户投诉，经查发现客户TCP第一、二次

15、握手成功率低该投诉为小区原因导致，需由网络侧进行优化解决。4.2.2群体客户主动监测分析4.2.3.1异常样本主动监测识别异常识别是客户感知溯源分析的关键方法之一。从海量的客户网络行为样本中识别异常点，并进行聚类分析，需要利用到干扰样本清理算法、异常样本识别算法及异常样本聚类算法三个核心算法（算法解释见附录1）。在对样本进行聚类分析后，自动判断该异常样本是“个别现象”还是“群体现象”。如果是群体现象，则分析该现象与客户、终端、小区、网络、业务、时间的多维度之间存在的关联关系。如果是个别现象，则通过追踪个别客户的网络行为，寻找其中的异常点。按异常类型来分，异常识别分为“异常事件识别”与“异常性能

16、识别”两类。异常事件识别：通过信令失败代码与失败原因值识别异常（主要针对成功率、失败率等异常类型），例： HTTP业务访问失败，原因值为禁止访问（404），且失败次数在1小时内大于3次，被认定为一次异常事件。异常性能识别：通过人为预设规则来识别异常，主要针对速率、时延等性能类型 判断规则主要包含：阈值 ：传统阈值告警方式 变化率 ：感知性能指标突变 （如流量、负荷、速率短时间内下降幅度剧烈 ） 分布 ：感知性能指标分布 （例如某小区业务速率差的客户占该区域所有客户的比例超过阈值 ） 例： 对于速率指标异常，采取绝对阈值与分布结合的方法 设定全网TOP 50小区人均大包速率中位数为参考阈值 如果

17、小区人均大包速率低于该参考阈值*0.4则为质差小区 如果小区中大包速率低于该参考阈值*0.6的客户占比超过60%，亦认为该小区为质差小区 从而避免因性能分布不均而导致的漏判、误判。客户感知溯源分析系统可自动识别异常，以某地市的HTTP业务成功率指标异常为例，系统主动发现搜狐视频在多个小区出现HTTP成功率低的问题，识别异常样本，被识别出的异常会被标为红色（如下图），且此类异常属于“群体现象”。自动定界输出预判结果，该SP整体成功率较低在指定维度组合下指标聚类异常，该组合会被标为红色4.2.3.2客户主动监测分析流程以信令数据入手，通过十个步骤，监测客户感知，并聚类不同类别群体客户所存在的共异常

18、性问题或个别客户的个体异常问题，准确定位异常原因，加以解决优化，并对效果进行评估及反馈，优化保障流程及效果。整体流程图如下：步骤一：全量数据采集 - 数据源采集全量信令数据，自动关联多接口客户数据，并把VIP客户的行为信息作为样本存入数据仓库，供上层应用进行进一步挖掘（可根据自身网络情况调整，福建公司目前已采集8类27种数据，主要包括LTE网络各接口、Gn口、Mc口、网管数据、IMEI库、全网基站/小区信息及邻区关系信息表、核心网网元信息表、经分数据等）；步骤二：创建样本合集 - 样本需定义为表示客户网络行为的最小粒度；提取样本指标值，包括样本在14项性能指标的复合打分，最后集合样本；步骤三：

19、样本指标标准化 使用干扰样本清理算法清理样本集合中的干扰数据，以保证异常样本抽取的准确性；通过对各类指标进行标准化 ，即0100之间打分，标准需能够正确刻画业务不同 ，感知敏感度不同，以便于指标数据建模；步骤四：样本分布建模 - 按照考核指标标准化结果进行分布建模，以供分析及异常识别；步骤五：识别异常样本 - 使用异常样本识别算法在样本集合中抽取异常样本；步骤六：异常样本聚类分析 - 通过异常样本聚类算法鉴别异常样本是否存在共性；步骤七、八：问题确认定位及解决 - 通过以上分析，异常情况可被确认为群体事件及个体事件，针对不同事件类型及实际情况，需要采用不同的问题定界及溯源分析方法；步骤九：效果

20、评估 - 对客户感知优化效果进行评估，以确认客户感知问题定位的准确性，并通过反馈对监测保障流程及算法进行优化，后续逐步实现效果自动评估；步骤十：反馈效果与优化模型 -通过反馈效果，可对创建样本集合、指标标准化、分布建模及异常样本识别四个步骤的进行优化，以达到更好的分析效果。其中步骤一、二、三、四为样本数据准备及预处理阶段，步骤五、六为定位异常阶段，步骤七、八、九、十则为解决问题及效果反馈阶段，使整个流程形成闭环。4.2.3.3异常样本问题定界方法通过直接针对异常样本进行单维度及多维度性能指标变化分析，分别转变小区、终端、核心网、业务维度，发现该异常样本在全网、该终端厂家、该ENB、该TAC、该

21、小区下性能指标均较同维度下其它样本差，若其它样本指标在这些维度下均为正常水平，从而可快速判断为该异常样本问题，实现问题的高效定界并减少投诉疑难杂症。以4.2.3.2中的某地市的HTTP业务成功率指标异常为例，系统发现该业务在全网、该终端厂家、该ENB、该TAC、该小区下性能指标均较同维度下其它业务差，而其它业务指标在这些维度下均为正常水平，自动核实无其他业务在同维度下有异常，无线网、核心网设备正常，从而判断搜狐视频SP侧存在问题（如下图）。根据定界结果，分析对应维度与异常强相关指标与配置状况，实现问题定位，给出解决方案。4.2.3评价标准对于客户感知的问题点，具有详细判断规则、分析方法及解决措

22、施，上述客户感知溯源分析的流程及分析方法仅供参考。4.3支撑手段重点实现客户感知溯源分析工作的生产管理过程跟踪及基于客户感知的网络质量指标提升效果统计，明确各步骤开展情况及指标采集途径，能够系统呈现客户感知相关指标及变化，并以工单系统实现区分客户的感知问题点闭环管理。4.3.1指标采集通过人为督导及采集计算信令数据获得。4.3.2指标呈现根据指标类型，如果是报表类型，按采集粒度以图形化方式直观呈现指标数值及变化趋势图；对于明细数据，能够实现对于群体感知异常及个体感知异常的客户网络行为清单的输出和查询。4.3.3网管视图4.3.3.1单一客户投诉细分问题场景分析功能1：前台客服计费类咨询，查询用

23、户上网记录按查询号码、查询时间对用户的上网记录信息以列表形式呈现，呈现界面示例：功能2：基于客户移动轨迹的溯源i.能够根据VIP用户号码或者IMEI查询用户详细的信令流程，呈现用户的移动轨迹及用户的信令和业务信息。ii.能够在地图上呈现终端用户途经的小区，并按照时间先后顺序联线，形成用户的移动轨迹。在用户途经的小区上标出信令、业务的微缩图标，图标上可以用字母简要标出信令和业务过程（比如A代表附着，a代表去附着，P代表PDP激活，p代表PDP去激活等），同时可以呈现一个记录各个过程的浮动列表。iii.点击用户在移动轨迹的微缩图标，或者点击浮动列表中的某条记录，可以呈现用户的信令详情或用户所做的业

24、务详情。视不同的业务类型，包括IMSI、IMEI、手机号码、接入类型、失败原因、开始结束时间、小区号、eNB IP及端口、服务端IP及端口、业务类型、业务名称、流量、速率等信息。iv.能够直观呈现客户网络行为中存在异常的过程，并能够通过小区、业务、终端等各维度的下钻溯源分析，实现初步定界异常原因（定界分析方法见功能3和6中的描述。v.该功能优先针对VIP客户，轨迹回溯周期可定为30天。该功能样图：功能3：前台客服预处理，对一些简单直接的问题进行合理解释，如用户数据问题、访问SP服务器故障等。呈现界面示例：功能4：省市投诉处理人员快速定位网络问题，如用户所在的问题无线侧小区、核心侧网元问题等，呈

25、现界面示例：功能5：横向对比定界功能小区维度分析：以红色突出显示客户感知较差的小区和对应小区中的异常指标业务维度分析：呈现客户在选定时间范围内使用的各类业务，以及这些业务的指标异常情况，并支持下钻呈现失败原因分类占比；终端维度分析：呈现客户使用的终端在各指标上的打分情况，并支持与其它终端平均水平得分进行对比，从而凸显异常4.3.3.2群体客户主动监测分析（可选）群体异常事件识别异常样本问题定界以某地市的HTTP业务成功率指标异常为例，系统发现该业务在全网、该终端厂家、该ENB、该TAC、该小区下性能指标均较同维度下其它业务差，而其它业务指标在这些维度下均为正常水平，自动核实无其他业务在同维度下

26、有异常，无线网、核心网设备正常，从而判断搜狐视频SP侧存在问题（如下图）。4.3.4派单闭环管理针对客户感知问题，通过任务工单方式，实现感知问题闭环管理。4.3.5评估标准1）能打通相关数据接口（含网管、经分、信令），采集客户感知评估所需相关数据；2）具备感知异常客户网络行为指标生成、呈现、输出能力，以及所聚类到的问题维度的指标生成、呈现、输出。4.4分析流程针对客户感知溯源分析开展周粒度的常态监测、分析及保障，明确各环节的工作内容和要求，做到客户感知问题有人分析、定位，后续处理过程有人跟踪。4.4.1问题发现通过各接口、信息库、网管及经分系统采集的全量信令数据，进行客户感知溯源的周粒度分析，

27、定期输出群体客户感知聚类到的异常维度或感知异常的个体客户的网络行为。4.4.2问题分析根据客户感知溯源分析方法，给出客户感知问题点的处理具体建议。4.4.3任务工单派发针对群体性问题进行专题分析，完成问题定位及处理，针对VIP客户或个别异常客户，确定其问题原因，并通过工单方式协同客服部门对其进行客户关怀。针对覆盖问题、无线参数设置导致的客户感知异常通过任务工单形式下发地市网优部门 ，并在工单中携带具体问题分析和处理建议。针对核心网侧设备问题、参数设置问题导致的客户感知异常通过任务工单形式下发至其分维护单位，并在工单中携带具体问题分析和处理建议。针对客户终端、SP等问题导致的客户感知异常，通过任

28、务工单形式协同数据部或其它相关部门分析解决，并在工单中携带具体问题分析和处理建议。4.4.4任务工单处理及反馈地市公司网优部门针对客户感知异常问题点，结合现场覆盖测试情况，通过设备运行状态检查、天馈优化、参数配置、邻区关系和切换优化等手段，开展本地优化调整，对于无法通过优化解决的客户感知异常报表问题点，加快已规划站点建设及优化进度或及时反馈，以便重新定位异常原因。核心网设备维护单位针对客户感知异常问题点，结合设备参数设置及客户终端可能存在的特殊行为，分析症结所在，开展参数优化调整或设备软件升级，对于无法通过优化解决的客户感知异常问题点，及时反馈，以便重新定位异常原因。维护单位在任务工单中及时反馈问题的处理情况。客服部门针对存在感知异常的VIP客户或其他个体客户，进行事前主动客户关怀，避免投诉，若已发生投诉现象或是由于客户个体行为导致的异常，则根据情况向客户做出合理的解释，无需反馈工单。