竞品分析测试方案doc18页.docx

1、竞品分析测试方案doc18页竞品分析测试方案1测试哪些竞品？将RCS的业务进行划分，各自选择12款当前最流行的APP应用作为竞争产品进行分析，其中：视频业务区分ios平台和android平台，分别选择FaceTime和微信作为分析对象；消息类业务区分国内外的流行软件，国内主要是微信，海外主要是whatsapp业务，分析过程中同时拿两款app作为分析对象；呈现类业务，目前做的最好的软件微信作为分析对象；综合指标部分选择和RCS业务最相似的微信和skype作为分析对象。对比项RCS微信SkypeWhatsappFaceTime音频业务视频业务消息类业务登录注销呈现类业务性能指标2测试哪些维度？测试

2、维度功能完备性Qos主观评价音频业务静音、外放、DTMF、音量控制方式、业务触发入口、其它特色功能、编解码、拨号盘、历史记录在不同网络质量下的通话质量、最优质量的网络要求结合主观概念进行综合评价视频业务静音、外放、DTMF、音量控制方式、摄像头切换、音视频互换、窗口隐藏、业务触发入口、编解码、其它特色功能在不同网络质量下的通话质量、最优质量的网络要求结合主观概念进行综合评价消息类业务回执、输入状态、表情、共享内容、群聊、业务触发入口在不同网络质量下的业务成功率.时延等结合主观概念进行综合评价登录注销自动登陆、静默登陆、网络状态提示、其它特殊业务对网络状态的敏感程度、登陆耗时结合主观概念进行综合

3、评价呈现类业务呈现信息的内容、内容大小，图片质量各种呈现信息更新的成功率和时延结合主观概念进行综合评价性能指标业务场景下的流量、电量、内存、CPU、安装包大小不涉及结合主观概念进行综合评价用例体验评估RCS的用户体验以及对比分析竞品之间的差异Qos测试基于网络有一定网络话务模型下进行竞品测试。根据QoS&话务模型&性能规格（2013-7-22刷新）中的定义，典型网络QoS模型如下：注：1、其中WIFI/宽带接入为必选场景，3G接入/2G接入为可选场景。2、“丢包率、时延、抖动”等数值均指一侧的数据，即指UE-SBC-IMS(AS)的数据。需要注意的是，在测试部分场景时，需要在两个UE侧加扰，比

4、如在测试音频的“WIFI:较差”场景时，需要在UE1-SBC-IMS(AS)一侧按照丢包：11.5%，时延：215ms，抖动：100ms加扰，同时需要在UE2-SBC一侧也按照丢包：11.5%，时延：215ms，抖动：100ms加扰。3测试哪些项？3.1音频业务3.1.1功能完备性针对音频呼叫的功能完备性，进行如下维度的功能完备性测试类型功能点测试点描述音频呼叫业务发起入口来电铃声大小控制来电铃声的大小控制，在各种手机情景模式下的来电铃声接听方式包括锁屏状态下的接听、正常下的接通界面呈现信息在振铃态通话态各自能够呈现多少信息？静音功能是否支持外放功能是否支持DTMF信息查询在通话态能够并行操作

5、多少业务转CS呼叫编解码支持哪些编解码切换视频呼叫补充业务与呼叫的冲突包括PS业务的冲突和CS呼叫的冲突通话记录通话记录查询通话记录删除功能通话记录详情界面信息呈现拨号盘拨号盘搜索拨号盘删除功能其它其它特色功能3.1.2Qos质量在对比测试过程中，各个影响参数的设置如下：设置项RCSSkype组网RCS的主流组网（内置SVN）默认配置（安装后默认配置）编解码使用默认编解码opus2198冗余支持（按照默认配置支持二级冗余）针对语音呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）：关键指标RCSSkype接通率连续测试10次，计算接通率连续测试10次，计算接通率接续时长从日志中获取接续时

6、长通过外部计时的方式实现（秒表）语音时延以DSLA的测试数据为准以DSLA的测试数据为准MOS以DSLA的测试数据为准以DSLA的测试数据为准3.2视频业务3.2.1功能完备性针对视频频呼叫的功能完备性，进行如下维度的功能完备性测试类型功能点测试点描述视频呼叫业务发起入口来电铃声大小控制来电铃声的大小控制，在各种手机情景模式下的来电铃声接听方式包括锁屏状态下的接听、正常下的接通界面呈现信息在振铃态通话态各自能够呈现多少信息？静音功能是否支持外放功能是否支持DTMF摄像头切换窗口切换窗口隐藏信息查询在通话态能够并行操作多少业务编解码支持哪些编解码切换音频呼叫补充业务与呼叫的冲突包括PS业务的冲突

7、和CS呼叫的冲突其它其它特色功能3.2.2Qos质量在对比测试过程中，各个影响业务的参数设置如下：设置项RCSFaceTime/微信组网RCS的主流组网（内置SVN）默认配置（安装后默认配置）编解码音频编解码视频opus；视频编解码使用H.2642198冗余支持（按照默认配置支持二级冗余）针对视频呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCSSkype接通率连续测试10次，计算接通率连续测试10次，计算接通率接续时长从日志中获取接续时长通过外部计时的方式实现（秒表）视频质量ICT工具评测（工具正在调试，如果不能完成测试，则采用视频主观判断）视频主观判断（只针对主观感受对

8、比）音频质量以DSLA的测试数据为准以DSLA的测试数据为准MOS以DSLA的测试数据为准以DSLA的测试数据为准3.3消息类业务3.3.1功能完备性类型功能点测试点描述单聊业务发起入口草稿保存状态显示输入状态显示表情消息分页加载来电提示方式界面呈现信息消息置顶单聊支持的内容消息同源其它特色功能群聊群聊发起入口群聊支持的内容群聊人数限制群聊的参数其它特色功能图片共享图片共享入口照片墙点击下载其它特色功能位置位置共享入口其它特色功能PTT共享入口PTT时长PTT取消PTT信息显示PTT播放模式其它特性功能名片共享共享入口共享的信息项其它特色功能视频文件共享共享入口支持的格式文件大小限制点击下载其

9、它特色功能3.3.2Qos质量【IM业务】在IM业务的对比测试过程中，各个影响业务的参数设置如下：设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP消息内容根据Qos测试要求设置根据Qos测试要求设置针对IM业务的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试10次，计算接通率连续测试10次，计算接通率时延从日志中获取接续时长通过外部计时的方式实现（秒表）【位置业务】位置业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对位置业务进行独立的Qos测试。【图片共享】在图片共享的对比测试

10、过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP共享内容根据Qos测试要求设置根据Qos测试要求设置针对图片共享的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试10次，计算接通率连续测试10次，计算接通率时延从日志中获取接续时长（时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小/发送时长（指端到端的？还是单向？双向？）【名片共享】名片共享业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对名片共享进行独立的Qos测试。【视频文

11、件共享】在视频文件共享的对比测试过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP共享内容根据Qos测试要求设置（是否可以采用自身的录制时间为准，录制画面如何处理）根据Qos测试要求设置针对视频文件共享的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试10次，计算接通率连续测试10次，计算接通率时延从日志中获取接续时长（时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小/发送时长（指端到端的？还是单向？双向？）【PTT共享】在PTT共享的对比

12、测试过程中，各个影响业务的参数设置如下设置项RCS微信消息模式Session模式（RCS默认模式）默认配置（安装后默认配置）组网MSRP over TCP共享内容根据Qos测试要求设置（是否可以采用自身的录制时间为准，录制画面如何处理）根据Qos测试要求设置针对PTT共享的Qos分析，需要测试的关键指标如下（包括统计方法）关键指标RCS微信成功率连续测试10次，计算接通率连续测试10次，计算接通率时延从日志中获取接续时长（时延从何时开始？何时结束？）通过外部计时的方式实现（秒表）速率文件大小/发送时长（指端到端的？还是单向？双向？）3.4登陆注销（包括断网重连）3.4.1功能完备性类型功能点测

13、试点描述登陆注销开机自动登陆后台运行开销户失败原因提醒断网重连终端状态的检测IM下的断网重连音视频下的断网重连内容共享的断网重连3.4.2Qos质量测试RCS和竞争产品在现网WiFi网络上的注册时长和成功率，每种场景测试10次，取其平均值作为测试结果。3.5呈现类业务3.5.1功能完备性类型功能点测试点描述呈现类呈现的内容内容刷新周期Presence信息的显示好友发现的方式3.5.2Qos质量RCS和微信在Presence业务上的实现存在一定的差异。测试策略如下：呈现内容RCS微信测试分析登录状态有“离线”和“在线状态”实时呈现在联系人列表没有登录状态的呈现不进行Qos测试签名刷新好友更新签名

14、后，自动更新在联系人列表中不自动更新，点击好友签名时更新业务时延：微信从手动刷新开始，rcs已好友更新时间开始成功率：正常统计头像更新好友更新头像后，自动更新在联系人列表中不自动更新，点击好友头像时更新业务时延：微信从手动刷新开始，rcs已好友更新时间开始成功率：正常统计好友发现自动发现好友，周期可以配置不自动发现，手动发起好友检测（根据QQ联系人/手机联系人），检测到好友后，需要手动发起增加为好友的操作。不进行Qos测试3.6性能指标性能测试指标是除业务完备度和用户体验外，最直接的竞争力体现。本测试方案针对安装包大小CPU、内存、流量、电量、流畅度进行对比测试。3.6.1安装包大小比较软件的

15、安装包大小。3.6.2CPU对于APP来讲，CPU测试和内存测试根据如下几点考虑测试场景。在相对稳定的状态进行CPU的测试和对比；说明：对APP的稳定状态进行测试，因为用户一般不会感受到CPU的飙高，CPU的对外呈现是终端的发热量、app的使用流畅度。对于操作过程瞬时状态用户较难察觉，因此竞品测试过程中基于如下两个原则设计场景：针对场景进行的通用性。说明：由于软件的业务和架构不同，无法做到很细节场景的对比，因此测试过程中关注业务场景，对应的配置以默认配置为准。某些业务独有的特性在业务实现完备性章节进行测试，不在性能指标中作为专项测试。基于以上原则，抽象出以下几种测试场景：1、后台运行场景构造：

16、空联系人，同一款终端，登陆10分钟后在后台运行。测试方法：观察CPU的占用持续5分钟。2、前台运行场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。测试方法：在被测系统运行在前台，按照正常使用速度且在“1级”页面切换，观察CPU的占用持续5分钟。3、IM聊天过程中场景构造：每个终端1个联系人。两个终端之间互发进行操作。测试方法：按照如下顺序循环发送，若不支持则跳过。A发送消息给B；B发送消息给A；A发送表情给B；B发送表情给A；A发送照片给B；B发送照片给A；A发送名片给B；B发送名片给A；循环操作，持续5分钟观察cpu变化。业务结束后须持观察CPU5分钟。4、音视频呼叫过程中场景构造

17、：每个终端1个联系人。测试方法：从呼叫开始前30s开始到呼叫接触后持续观察5分钟。呼叫持续5分钟。3.6.3内存同CPU测试场景，抽象出以下几种测试场景：1、后台运行场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。测试方法：观察CPU的占用持续5分钟。2、前台运行场景构造：空联系人，同一款终端，登陆10分钟后在后台运行。测试方法：在被测系统运行在前台，按照正常使用速度且在“1级”页面切换，观察内存的占用持续5分钟。3、IM聊天过程中场景构造：每个终端1个联系人。两个终端之间互发进行操作。测试方法：按照如下顺序循环发送，若不支持则跳过。A发送消息给B；B发送消息给A；A发送表情给B；B

18、发送表情给A；A发送照片给B；B发送照片给A；A发送名片给B；B发送名片给A；循环操作，持续5分钟观察cpu变化。业务结束后须持观察CPU5分钟。4、音视频呼叫过程中场景构造：每个终端1个联系人。测试方法：从呼叫开始前30s开始到呼叫接触后持续观察5分钟。呼叫持续5分钟。3.6.4流量流量测试采用第三方软件进行统计。采用瓦力流量仪作为测试工具预置条件：区分android和ios平台，Android使用防火墙屏蔽其他APP访问网络，ios在后台删除掉非被测软件和统计工具外的其它APP应用。软件的设置项采用APP应用的默认设置。测试场景：1、空跑一轮不安装被测软件，只安装统计工具，目的是将测试结果

19、作为参考基线，减少测试过程中误差2、登陆被测软件均统计在安装软件后首次登陆消耗的流量。由于当前RCS做成自动发现好友。在和不同软件时间进行对比时，需要完成的流程如下：被测对象操作步骤后台完成动作RCS1、使用老；2、进行首次登陆；3、启动CAB之后，进行一轮CAB好友发现1、登陆流程2、自动匹配联系人中好友3、下载好友信息微信1、使用老；2、进行首次登陆；3、进行一轮本匹配1、登陆流程2、下载好友信息3、自动匹配联系人中好友说明：得到测试数据后，需要结合好友数量才能比对产品之间的测试数据。3、后台运行1个小时登陆成功后在后台运行1个小时。4、前台运行1个小时登陆成功后在前台运行1个小时。被测软

20、件停留在登陆后的默认页面，关闭系统锁屏功能。5、IM发送文本50条（测试3组数据）终端A和终端B登陆后，互发IM文本消息，互发30分钟，文本内容固定为“1”-“50”依次增加1.6、音频10分钟以默认编解码进行测试7、视频10分钟以默认编解码进行测试3.6.5电量电量测试继承使用版本测试的方法，使用如下几种测试场景进行和竞品的分析。1、后台运行12个小时；2、视频呼叫1个小时；3、音频呼叫1个小时；说明：iOS平台直接读取iPhone自身电量显示。Android平台采用第3方电量测试工具（金山电池医生）显示电量。测试时通过杀死后台程序的方式仅保留被测软件和测量工具。3.6.6发热量本方案暂时不

21、关注3.6.7流畅度流畅度的测试在本版本首次执行，作为一个独立的测试项，需要输入单独的文档，本文档不进行描述，具体测试方案请参考RCS Client V100R005C00流畅度测试方案3.7用户体验评估3.7.1测试思路将RCS的业务抽象成各种任务，这些任务的集合能够覆盖RCS的主要功能场景（超过90%）。测试人员在执行这些任务的过程中评估用户的体验效果。3.7.2任务划分测试任务划分如下，所有测试任务的其实页面均从登陆后的默认页面开始。任务编号任务名称任务描述任务01音频呼叫从拨号盘发起音频呼叫任务02视频呼叫从联系人详情中发起视频呼叫任务03删除呼叫记录删除某个联系人的所有通话记录任务0

22、4发起IM从联系人详情中发起1-1聊天业务任务05接收IM被测软件在后台运行，收到IM消息后，查看IM消息，且回复任务06发送图片从联系人详情中发起图片共享业务（即时拍）任务07发送视频从联系人详情中发起视频文件共享业务（被测系统进行录制）任务08发送名片从联系人详情中发起名片共享业务（从联系人中选择）任务09发送PTT从联系人详情中发起PTT文件共享业务任务10发送位置从联系人详情中发起位置共享业务任务11接收图片在登陆后的默认页面，收到好友发送过来的图片，浏览后保存到本地任务12接收视频在登陆后的默认页面，收到好友发送过来的视频文件，浏览后保存到本地任务13接收名片在登陆后的默认页面，收到

23、好友发送过来的名片，浏览后保存到本地联系人任务14接收位置在登陆后的默认页面，收到好友发送过来的位置并浏览任务15接收PTT在登陆后的默认页面，收到好友发送过来的PTT并收听任务16删除聊天记录删除某个联系人的聊天记录任务17发起群聊发起三个人的群聊，并在群里面发起内容任务18搜索联系人从联系人界面出发，搜索联系人并查看详细信息任务19增加联系人增加为新增联系人任务20删除联系人从联系人界面出发，搜索联系人并删除联系人任务21修改头像和签名修改头像和签名任务23NAB发起联系人备份和恢复操作3.7.3评估指标分类基本指标描述可能关键错误指标流程性/ 页面性指标可识别性用户可以看见和发现相关的信

24、息（包括文案、图标、图形等），并将该信息和其它信息区分出来视觉混淆、无法发现信息、依赖记忆可理解性用户理解该信息（包括文案、图标、图形等）的内容，用户理解的信息和真实世界保持一致，容易学习概念混淆、概念错误可操作性用户可以进行正确操作错误操作、无效操作、操作时间过长灵活/容错性用户可以自由选择合适的操作方式，允许用户出错无可选择性、无法退出反馈用户知道自己完成了相关的操作无反馈、反馈无法理解和识别视觉与体验评估产品的外观、色彩、风格、质感等相关的视觉体验-帮助信息有帮助信息，利于检索的帮助信息，可以理解的帮助信息-整体性指标操作一致性相似的操作方式错误操作视觉一致性相似的外观、色彩、风格、质感等理解和识别错误文案一致性相似意义理解错误继承性和过去的版本具有共同一致特征-习惯用户可以根据现有的习惯或标准化模式进行操作违反一般习惯，缺少出错提示信息3.7.4附件【体验评估表】