完整版中国电信移动互联网业务感知测试APP功能规范v0文档格式.docx

1、4.2业务测试与业务监测功能34.3辅助诊断功能74.4网络异常监测功能84.5数据采集功能94.6 客户端的自动升级功能104.7测试目标的选择功能104.8不同版本的功能115APP限制功能要求125.1终端软件版本升级治理135.2终端配置治理135.3采集数据上传治理135.4风险和隐私治理146APP及限制和预处理性能要求146.1机型适配146.2终端操作系统146.3耗电保护147APP及限制和预处理与分析系统的接口要求147.1数据上传格式及要求147.2与业务感知分析系统的接口218APP后台数据预处理及分析功能要求328.1通用功能328.2KQI 统计3383KQ分析33

2、8.4KQI 评价368.5网络异常分析368.6业务速率分析388.7业务行为分析388.8在网行为分析40附件一、 访问各时间点41本标准为中国电信首次制定,旨在对移动互联网业务感知测试APP的功能 进行统一标准,以支撑中国电信开展移动互联网业务感KQI指标的采集、分 析及优化.本标准起草单位：本标准由中国电信集团公司网络运营维护事业部组织制 定,中国电信股份广州研究院起草.本标准主要起草人：姜松、郑忠民、李文云、背维华、蒋春元、贺晓东等.中国电信移动互联网业务感知测试APP功能要求1范围本标准规定中国电信移动互联网业务感知测试APP的功能,包括业务测试 功能、业务监测功能、辅助诊断功能、

3、数据采集功能、异常事件监测功能、业务 行为监测功能、自动升级功能、测试目标选择功能、测试结果数据上传功能、 APP限制功能、APP数据预处理、接口功能等要求.本标准适用于中国电信移动互联网业务感知测试APP及分析系统,为移动 互联网业务感知分析系统以下称“分析系统开发部署提供技术依据.2缩略语以下缩略语适用于本标准: HyperText Traiisfei Protocol超文本传输协议ICMPInternet Control Message ProtocoLIiiteinet限制报文协议IN1SIInteinational Mobile Subscriber Identity国际移动用户识别

4、码MSISDNMobile Station ISDN Number移动用户 薄号LIELong Term Evolution长期演进URLUniform Resource Locator统一资源定位符WAPWireless Application Protocol无线应用协议Wi-FiWireless Fidelity无线保真KQIKey Quality Index关键质量指标DPIDeep Packet Inspection深度报文监测3移动互联网业务感知测试APP在网络中的位置移动互联网业务感知数据的获取主要有两种方式:方式1为测试APP方式, 方式2为信令及DPI监测方式.移动互联网业务

5、感知测试APP作为移动互联网 网业务感知分析系统的一局部,在网络中的位置如下：测试APP及限制和预处理的逻辑架构如以下列图所示.它包括以下三个局部：1测试APP局部：在智能终端上安装测试APP软件,通过业务监测、业 务测试两种工作模式,实现终端业务感知数据的采集,测试数据上传效劳器.（2）APP限制局部：对终端的采集进行集中限制,对配置的更新周期、软 件版本更新检查周期、数据上传周期、业务配置等进行治理.4APP功能要求移动网络的口常使用中,通过在 上模拟真实用户行为的操作或者监测真 实用户在 上的实际业务操作过程或者监测真实用户在 上的实际业务操 作过程可以直观地表达用户感知数据,特别是使用

6、率较高的页面浏览、视频播放 和即时通信等业务,可以真实反映出用户业务感知情况.业务感知测试APP应 具备对页面浏览类、视频类和即时通讯类业务的端到端测试功能,对相关业务感 知KQI指标进行采集,包括当时的无线环境信息、坐标位置信息以及 信息QCT xxxx-201x 等,并根据标准要求解析、生成、合并数据信息,向数据平台提供数据结果.4.1APP工作模式测试APP在不同的应用场景下采用不同的工作模式.工作模式包括两类：业 务测试模式和业务监测模式.1业务测试模式：APP软件带有操作界面,使用者可以在界面上模拟真 实用户行为主动发起业务测试,并由APP软件自动采集被测业务的相关信息. 测试采集信

7、息可以由使用者手动触发上传,也可由软件自动完成上传.业务测试模式具备全自动测试模式,通过效劳器端每天下发测试参数到 , 在终端上实现一键测试.暂定支持的业务测试包括网页浏览、视频浏览、测速. 并可以实现测速参数针对不同省份可调,包括具体测试网址、测试次数.全自动测试模式下,如果出现超时严重10s,可以启动相关辅助诊断工具 进行分析检测.2业务监测模式：使用者正常使用终端进行各种业务,在其使用各类业 务的过程中,APP的后台进程持续监测用户的业务使用行为,当用户使用了需要 监测的特定业务时,由APP的后台进程自动对该用户的业务使用相关信息进行 采集,采集信息根据约定的规那么自动上传到效劳器.在此

8、模式下,用户不需要进 行任何额外的操作,数据采集和上传的过程也不能对用户的正常使用产生任何干 扰.此模式不要求测试APP具备操作界面.3测试任务同步：测试APP上的业务测试内容和业务监测内容应具备远 程同步功能,每次启动APP时自动与后台同步最新的测试内容或监测内容,也 可手动进行同步.内容同步功能可根据不同省份下发不同的测试内容,具体测试 内容在后台进行统一制定.4自动化测试功能：业务测试模式除提供界面供用户手动触发任务外, 应具备业务自动化测试功能.自动化测试功能是指测成APP根据限制平台的统 一任务调度安排,对接收到的测试任务执行测试,测试完成后结果根据要求回传 后台.4.2业务测试与业

9、务监测功能4.2.1浏览类业务测试与监测功能QCT xxxx-201x 业务感知测试APP应对主流页面浏览类网站/应用发起端到端的访问测试, 通过指定URL和测试次数,在应用层对URL发起 请求,对请求和响应流 程各阶段进行时戳捕获,解析后获取以下指标：DNS解析延时、首包延时、页面翻开延时、请求地址、请求3、下载文件 大小、下载文件速度、访问成功是否成功、建立连接时延、发送请求时延、接收 响应时延；移动网络页面浏览类业务感知指标主要表达在 请求各阶段的延时,而 业务感知KQI评价指标选用首包延时和页面翻开延时.a效劳器首包响应延时：用户发起浏览请求到收到目标效劳器响应第一个 200 ok报文

10、之间的所经历的时长,单位为ms.首包延时表达了用户 容易感知到的浏览器对 的响应是否有反响及时长.b页面翻开延时：用户发起浏览请求到收到整个 页面下载完毕并渲 染完成时长,单位为So页面翻开时延反映了用户从访问开始到页面打 开所需要等待的时间,影响业务感知.APP在每次启动前进行一次待测试地址的请求,以便于根据不同阶段的测试 需求进行调整.浏览类业务感知测试可以一次进行一个站点或者多个站点的访问 测试,根据既定顺序线性执行测试并回传测试结果.测试中,APP应显示完整 页面.DNS解析时延：从程序访问开始到完成DNS解析的时延；建立连接时延：DNS解析结束到TCP连接建立完成的时延：发送请求时延

11、：TCP建立完成开始到收到响应的第一个数据包的时延：接收响应时延：从接收到第一个响应数据包开始到响应接收完成的时延：空口建立时延：网页浏览时,如果出现超时情况,应能主动调用辅助诊断工具进行诊断调用. 仅针对专业版.4.2.2视频类业务测试与监测功能业务感知测试APP应对在线视频类业务进行播放测试,通过指定要请求的视 频地址进行端到端的访问,通过模拟用户在线观看视频的实际业务,在视频访问 的过程中,记录视频平均下载速率、峰值速率、卡顿次数等指标.指标计算：用户发起视频播放请求后的10s内,每500ms记录一次该阶段的 下载速率,并统计出整个阶段的视频下载的平均速率和峰值速率；APP在启动时需要请

12、求一次最新的视频浏览类测试地址,以便于适应不同阶 段的需求而对视频类业务感知KQI指标进行提取.请求的视频文件大小大约在10M左右.对于网络状况较好的情况下,如果 不到10s就己经下载完成,应只统计下载期间的速率.4.2.3即时通信类业务测试与监测功能业务感知测试APP须对即时通信类业务进行消息发送和接收测试,通过在指 定某种或某几种即时通信工具上模拟用户的发送消息和接收消息,获取到消息发 送/接收的时延、速率及成功率.移动网络的即时通信类业务感知指标主要表达在用户使用此类应用时消息 发送和接收的准确情况,业务感知KQI评价指标选用发送/接收成功率：a消息发送是否成功：用户在触发消息发送到效劳

13、器成功接收消息；b消息发送接收时延：用户在触发消息发送到对端用户接收成功所消耗的 时间记为消息发送接收时延；c消息发送速率：发送速率可以用发送消息的大小/用户在触发消息发送到 效劳器接收成功所消耗的时间,发送消息可以是文本、图片和视频；d消息接收是否成功：发送消息在发送成功后,用户在接收端上接收到相 同内容的消息记为接收成功；4.2.4网络测速功能业务感知测试APP须对网络的吞吐率进行测试,测试过程包括下载速率测试 和上传速率测试.网络测速通过 协议进行,测速地址选用目前已有的测速 效劳器.网络测速采集的指标包括下载平均速率,下载峰值速率,上传平均速率和上 传峰值速率：a下载平均速率：用户在触

14、发网络测速下载测试时,整个下载过程的平均 速率,用下载消耗数据量/下载消耗时长；b下载峰值速率：用户在触发网络测速下载测试时,在整个下载过程中每 500ms记录一次速率情况,取各次中最快的几位峰值速率：C上传平均速率：用户在触发网络测速上传测试时,整个上传过程的平均 速率,用上传消耗数据量/上传消耗时长；d上传峰值速率：用户在触发网络测速上传测试时,在整个下载过程中每 500ms记录一次速率情况,取各次中最快的几位峰值速率：e支持多线程测试,针对3G网络只使用单线程测试,针对4G网络开启多 线程测试哲定开4线程.f测速开始前应首先发起Pmg测试,保证测速效劳器能正常访问.如果Ping 超时,应提示用户测速效劳器不可用.g本项功能应实现为一键测试,无需用户做更多操作.h测速网址应按归底省份卜发不同网址.但对于漫游用户上报的测试数据 应在做统计时剔除掉后台进行操作.测速所用文件为100MB以上, 测速时间为10so4.2.5全自动测试业务感知测试APP 专业版应具备一犍式全自动测试功能.在测试中,根 据效劳器所下发的配置参数完成网页、视频、测速测试.在测试中,应对目标网 址依次进行测试,并在APP上显示测试结果非后台处理方式.APP具备在网络出现异常情况导致超时的情况下,能启动辅助诊断匚具