手机测试策略call.docx

1、手机测试策略call CDMA 手机测试经验总结 手机测试前要先注意手机上市的三个里程碑：1. 信息产业部 TA测试由信息产业部进行的为获取NAL(Network Access License)而进行的测试。与软件测试相关的主要是CTTL的一部分测试用例和UG交叉检查。UG提到的功能都要求已经实现。一般来说，检查的都是比较基本的功能。2. 网络运营商 PA测试由运营商进行的产品接受性测试。与软件测试相关的主要是增值业务测试。这里要求有关增值业务的软件，都能符合运营商的要求（有终端规范和测试规范）。另外，要求手机软件成熟、稳定。3. 手机上市主要的测试策略?Release Test:每个软件版本

2、都要进行的测试，主要涉及每个Feature最基本的功能。?Error Verification:集中在这个版本相对上个版本修改的Error、增强的功能以及新加的功能的测试。?Full Feature Test: Feature功能的全面的测试。考虑到人力，资源以及有效性，只在比较重要的软件版本上测。(要求测试的软件版本具有一定稳定性和成熟度)?CTTL Related Test&UG Cross Check: 主要是针对TA做的准备测试。?Error Regression Test:在最后相对稳定的软件版本上，把已经修改好的Error重新验证一遍，以确保没有重新出现。?Pre-PA Test:

3、按照运营商的测试规范进行的增值业务相关的测试。?Free Test:有效地弥补测试用例的缺陷。发现深层次错误的重要途径。测试重点：Before TA?每个软件版本都要进行Release Test和Error Verification。?手机的所有Feature都Configuration好之后，就可以进行一次全面的Full Feature Test。?尽早进行CTTL Related Test&UG Cross Check,给研发人员充分的时间去修改Error。?如果只有一部分的Feature提前做好Configuration，就可以对这些Feature进行单独的Full Feature Te

4、st。测试重点：Before PA?在这段时期主要针对增值业务的测试以及对于先前发现的Error的跟踪测试。?对于支持运营商的增值业务的手机，要对相关Feature进行Full Feature Test和准备PA测试。?由于前一阶段时间有限，为了弥补对一些没有覆盖的功能以及一些深层次的测试，需要对各个Feature进行有方向的大量的Free Test。?在要送往运营商做PA测试的软件版本上，进行所有Feature的Full Feature Test，以及准备PA测试，确保能够通过测试。测试重点：Before Launch?这段时期软件相对比较成熟，主要应该考虑一些以前测试比较薄弱的地方、或者E

5、rror比较集中的地方。如何做好手机UI测试项目的管理?角色分工清晰?做好Test Schedule，安排好各个时期所需的测试?做好测试的准备工作?制定好每个测试的流程?制定好Error管理流程（Report, Update, Follow-up）?收集各个时期比较重要的Error,并随时跟踪状态。?如何能发现更多有效的BugBug的分类功能性Bug（不能Call，发SMS）UI的Bug（和spec相比较，界面上的图片，文字不一致）逻辑性的Bug（执行某些步骤，未进入相应的界面）可以通过以下方法进行手机测试1. 重复操作，2. 快速按键，3. 边界测试，4. 按非正常键，选择一个其他路径实现同

6、一个功能5. Memory6. 返回前一个状态7. 交互8. 非法输入9. 换卡10. 检查缺省值11. 特殊状态下的操作12. 长时间使用一个功能13. 中断正在进行的操作14. 压力测试手机测试过程一般走两到三轮的CASE，建议第一轮针对spec做一些UI的自由测试。如果是一个新的项目的话，第二轮和第三轮严格的执行CASE，看手机的bug数目情况，如果大的功能还没有实现的话，还要在执行case，如果实现了，接着做自由测试一到两轮，一般前面四到五轮测试，都是每个人测试自己的模块。前面执行五轮了，应该可以发现70%的bug。从第五到六轮开始做交换模块测试，另外根据项目的进度，在第6轮到第7轮做

7、性能测试和压力测试，以及弱信号的测试。另外还要注意一个问题在基本功能比较完善的情况下，执行并发性测试，在测试项目快结束的时候还要做一次并发测试。并发测试状态插入事件处理方式闹钟界面来电闹铃音停止，到来电界面，提示振铃。来短信无短信提示音，手机会振动一下，按任意键停止闹钟后，到新信息提示界面。低电量提示会有图标闪烁。不会有提示音。游戏中界面来电游戏自动保存，到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。游戏结束画面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量

8、提示电池图标闪烁，并伴有低电量告警音闹铃时间到游戏结束音被闹铃中断，伴随振动，闹钟小图标闪烁，五秒停止。游戏存储界面来电游戏不保存，到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。游戏暂停界面来电游戏自动保存，到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。各类确定界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。

9、闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。编辑界面来电到来电界面，提示振铃。短信编辑中来电自动保存内容。电话簿编辑中来电不保存内容。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。万年历界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。计算器界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随

10、振动，闹钟小图标闪烁，五秒停止。各种测试界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。铃音浏览界面来电所浏览铃音被来电铃音替代，到来电界面，提示振铃。来短信所浏览铃音被短信提示音替代，有短信小图标提示。低电量提示所浏览铃音被低电量告警音替代，电池图标闪烁。闹铃时间到所浏览铃音被闹铃铃音替代，伴随振动，闹钟小图标闪烁，五秒停止。菜单浏览界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，

11、闹钟小图标闪烁，五秒停止。密码输入界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。待机界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。显示新信息提示界面。低电量提示弹出低电量POP画面，并有低电量提示音，电池小图标闪烁。闹铃时间到到闹钟界面，闹铃响。电话簿初始化界面来电初始化完毕后，进入来电界面，提示振铃。来短信初始化完毕后，有短信提示音，有短信小图标提示。低电量提示初始化完毕后，才会提示。闹铃时间到初始化完毕后，进入闹钟界面，响闹钟铃音。新信息，未接来电

12、界面来电到来电界面，提示振铃。来短信有短信提示音，新信息前数字+1。低电量提示电池图标闪烁，并伴有低电量告警音。闹铃时间到闹铃响起，伴随振动，闹钟小图标闪烁，五秒停止。手机锁定界面来电到来电界面，提示振铃。来短信有短信提示音，有短信小图标提示。显示新信息提示界面。低电量提示弹出低电量POP画面，并有低电量提示音，电池小图标闪烁。闹铃时间到到闹钟界面，闹铃响。未插入UIM卡低电量提示（IDLE界面）弹出低电量POP画面，并有低电量提示音，电池小图标闪烁；（非IDLE界面）电池图标闪烁，并伴有低电量告警音。闹铃时间到（IDLE界面）弹出闹铃POP画面，并有闹铃铃音响起，同时闹铃小图标闪烁；（非ID

13、LE界面）闹铃响起，伴随振动，闹钟小图标闪烁五秒钟。来电中闹铃时间到手机振动且闹铃小图标闪烁五秒钟，来电界面正常。低电量提示有电池小图标闪动，来电界面正常。拨出电话中闹铃时间到手机振动且闹铃小图标闪动五秒钟，可正常拨出电话，界面显示正确。低电量提示有低电量警告音且电池小图标闪动，可正常拨出电话，界面显示正确。通话中来短信有短促提示音，显示未读短信小图标，可正常通话，界面显示正确。闹铃时间到手机振动且闹铃小图标闪动五秒钟，可正常通话，界面显示正确。有电话呼入（设置呼叫等待）测试机界面显示呼入的电话号码及呼叫等待字样，测试机正常通话。低电量提示有低电量警告音且电池小图标闪动，可正常通话，界面显示正

14、确。性能测试：在PB将满和满的时候，和SMS将满和满的时候，有闹铃等并发性的事件发生，电话呼入和呼出的情况,查看PB和SMS。对比测试：依据手机的功能而言，用被测手机和对比样机做对比。主要是Call和SMS，用被测手机分别往被测手机和对比样机上发SMS（注意能否接收到，特殊字符能接收到吗），一般测试两组，一组是25次，共测试50次，记录下接收的成功率，及注明不正常现象的comments。弱信号关机开机注册测试：用被测手机在信号比较好的区域，拨打信号比较差的区域的被测手机和对比样机，一般测试两组，一组是25次，共测试50次，记录下接收的成功率，及注明不正常现象的comments。通话质量测试：在

15、CALL 测试的过程中，关注通话有无杂音，噪音，啸叫等等问题在测试的每一轮中都要注意每一轮的测试重点，根据上一轮的测试情况，制定下一轮的测试重点。以及要注意测试优先级。针对release版本的测试要重点把握那几项测试：如果进入release版本的测试，bug是测不完的，对Bug要明白一点测试是发现重要的bug，而不是发现所有的bug。1.基本的function测试，重点对某项操作几次，还有做自由测试（等价类划分，冗错性测试，边界值测试，）换卡，开关机，低电量会不会清除PB，SMS，恢复出厂设置是否应该删除PB，SMS。2.长按键，快速按键，UIM-LOCK ，注意：人力资源，一些未能达到的硬件

16、要求。 应让供应商在项目开始的初期就提供一些样机，比如在万年历中星期的缩写。有的是WE都是大写，有的是We。电话本的排序：基本的方法是取每个姓名第一个字的Unicode编码，按照ASCII表字符顺序排列但是有下面2个例外：（1）英文字母不区分大小写，例如a和A将会排在一起，先新建的记录排在上面。如新建3笔记录A、a、A，进入电话簿后顺序为：A-a-A。（2）汉字取其拼音的首字母。例如阿和 a,A将会排在一起，但是阿在a,A后面，即汉字在英文字母的后面。具体手机功能测试方法：测Call功能的时候，应该注意的一些事项1. 一般用户的操作方法的验证2. 非Idle状态来电之后拒接，未接，通话结束后都

17、返回Idle。3. CALL 来电和PB中号码的匹配4. 来电主叫禁显的测试5. 来电号码为黑名单的电话6. 更改PB中电话号码的用户名称后，查看对应的呼叫记录是否正确7. 来电后，通话记时是否正确8. 通话记录的排序9. 打，国外，长途，移动，连通，铁通，小灵通，固话，IP电话是否通话清晰没有杂音；10. 直接拨打分机（p）11. 打电话中交叉事件的处理（低电量，闹钟等）12. 打电话过程中，浏览PB，SMS，调节音量等等的操作13. 紧急呼叫的和PB电话号码的匹配14. 注意耳机在未插入话机时，手机上的“自动接听”功能是否生效。插上耳机后手机是否会有提示（文字还是键盘指示灯），插上耳机后，

18、此电话被叫，声音是从那里发出的。15. 呼叫等待和三方通话的功能 三方通话和呼叫等待业务的使用需要SP授权。三方通话的建立与处理过程，区别于呼叫等待(Call Waiting)的处理。简而言之，MS在通话过程中如果有来电，则为呼叫等待处理过程；如果MS在通话过程中发起另一通呼叫，则为三方通话处理过程。假设3部手机：A，B，C。 A是有三方通话卡的手机。1.如果A先拨打B，接通B之后，A再去拨打C并且接通 解：界面显示B的号码。 2.接通之后和A的通话对象是谁？ 解： A与C通话，B被保持。 3.B、C之间能否通话，可以的话是在什么条件下？解：在2的情况下用户按SEND键开始三方通话，即A、B、

19、C同时对话，任意一方说话另两方都能听见；但B和C不能脱离A私聊。 4.A能否按某一键进行切换选择与B通话，屏蔽C或者选择与C通话，屏蔽B；解：不能。 5.电话挂断：如果A主动挂断，什么情况？如果B或者C主动挂断， 又是什么情况？解： A为主控方，如果A挂断，B、C将被挂断； 如果B(或C)挂断，则A与另外一方C(或B)继续通话。 6.A能否按某一键选择与B通话挂断C，或者与C通话挂断B。如果 可以与B通话挂断C，挂断C后能继续直接和B通话还是要B再自动 拨打A解： C为后加入的第三方，如果A按SEND键，则C将被挂断，A与B继续通话； A不能挂断B而与C通话。 7. 如果A先拨打B，接通B之后

20、，A再去拨打C，没接通C前按 End键，会出现什么现象？是把B、C全部挂断了？解： A与B通话过程中拨打C并听到回铃音，则B被保持，在C未接听前A按END键挂机，C被挂掉，A将尝试取回被保持的电话B，即正常情况下A会收到B的来电。 8. 如果A先拨打B，接通B之后，有C拨打A，但是A不想接C的电话，能否在这个时候挂断C的电话，继续和B通话？解：不能。 A与B通话过程中如果有来电，即为呼叫等待，A会听到C来电的提示音，并且在20秒(时间可程序定制)内会有通话等待界面提示； A如果不接听，则继续与B通话，在C未挂机之前可按SEND键接听；A接听，则A与C通话，B被保持，A可按SEND键来回切换与B

21、或C通话。 16要注意拨打固定电话分机的方式输入总机+P+分机，然后直接拨打这个分机，看是否需要在接通总机后，再按“Send”键。还是直接就可以拨打出去。17.拨打国际长途输入符号“+”或“00”18.手机在插入UIM卡或没插入UIM卡的时候，拨打电话会有什么样的显示，其界面是否和spec上一致。19.拨打IP卡，看手机的界面显示是否正确。20拨打紧急电话（系统的和自己设置的），要注意有无UIM卡的情况。21 输入号码长度的限制通话记录首先这个模块是与Call、PB有直接联系的，这是因为来电和拨电话的同时，手机会在PB中进行匹配，从而能在通话记录中显示相应的姓名。所以在这个模块中多进行一些保存

22、号码的操作，或者改动过PB后要回头看看通话记录的姓名有没有发生变化。第一：查看PB后，保存号码的时候输入最大长度而且是中英文及特殊字符混合的姓名。类似这种混合字符最容易引起乱码问题。第二：在测试中，要考虑到来电为禁显号码、IP、长途的测试。第三：在删除通话记录时，挨个删除时按照顺序，有从前往后删和从后往前删以及从中间删，看删除后光标的位置是否符合设计要求。以及删除后，再去查看记录是否被删除。同样，在PB和SMS中也可以用到这样的方法删除记录。第四：与其它模块界面的测试相同之处在于：注意中英文界面下有没有错别字，显示的格式是否正确，POP框的提示与UI Spec是否一致。第四： 只要打电话或接电

23、话，进行与Call有关的操作，一是看来电显示，二是马上看通话记录。做过其它模块任何操作都可以再看看通话记录。第五：没事的时候也常进行开关机以及充电的操作，开机后看看通话记录，检查有没有什么变化。曾经发现通话记录中无缘无故多了一个“无效号码”，且时间是01/06, 00:00，怀疑是内存泄漏。第六：PB满时保存号码等操作一定要多做一些。电话簿和短信息容量将满或已满时，对手机的内存量影响比较大，容易出现各种问题。第七：通话计时：最后通话：是指最后一次对手机进行call的呼叫通话总计：包含的是已接来电+已拨电话的时间，如果对通话总计清零，那么已接来电，已拨电话对被清零。第八：与闹钟、短信、来电、游戏

24、、低电量等的交互要多测一些。第九：要测试手机键盘上的快捷键，可以直接进入相应的通话记录。第十：要注意开关机是否会对通话记录产生影响。SMS测试1. 每个界面都有可能出错；进入，等待，返回，弹出POP等；在每个界面中，出现交叉事件，从交叉事件出现前到出现后，观察画面（标题、状态栏），声音，振动，图标等，是否有逻辑错误等（下一步出现的界面不合理）2. 交叉事件： 电话（来电，来电提示，来电图标，呼出，）、闹铃（闹铃声，闹铃周期，一次闹铃时间，闹铃图标，有无振动）、 短信（提示音，振动以及时间，图标）、低电量关机（界面有无异常，再开机后之前的操作是否有效）按End键（在某些情况下，可检验有无内存溢出

25、，个人也不是很清楚）合盖（翻盖）：有无合盖音，翻盖音，背景灯的变化，信号问题：信号突然变差背景灯：是否设置有效，背景灯熄灭后（多长时间），按某键激活是否在各个界面下足够长时间内都能回到待机界面 耳机问题：插入，拔出，耳机上的按键，对所处界面的影响和功能的影响 充电器问题：插入，拔出 数据线问题：（高端手机连接电脑, 此C1161手机无）4. 进行SMS操作之前的状态：a. SMS容量（收件箱，存储箱的数量），存储位置，短信类型（紧急，普通，互动等），短信提示，b. 待机界面有无各种标志：未接电话，未读短信，静音，振动 ；c. UIM卡类型（双模卡、133如意通、Up新势力等、不同的生产厂商）、

26、容量（32K，16K等），考虑到兼容性的问题；d. 电池电量；信号强度；e. 背景灯设置；色彩基调、墙纸设置，中文还是英文模式；设置的是哪种输入法；手机各种默认的设置；内存占用情况（信息箱中有多少条信息）f. 有无插着耳机，充电器；5. 进行各种SMS操作：a. 主动发SMS：走不同路径-进入短信编辑界面-开始输入、编辑内容-在POP选择Send-输入或选择号码-发送（最后一步）(按End) b. 回复SMS： c. 转发SMS d. 删除：按哪种条件、分类删除，是否有效，在删除过程中有新短信，新短信会被如何处理？ e. 浏览短信内容，包括收件箱里的，存储箱里的，查看界面，功能6. 完成SMS

27、操作：是否发送、接收成功， 是否存储在对应的位置（接收是在UIM还是话机等），短信计数是否正确，比较进行SMS操作之前的各种状态7. 在进行SMS操作的过程中（各种界面中），出现以上的交叉事件，界面显示是否正确，有些还涉及到声音，震动，图标闪烁以及相关时间延续等8. SMS的压力试验,临界问题（字数）；SMS的成功率；开机后接受大量短信情况；不停接收短信至满后，按Sr或此时低电量关机，或继续给测试机发SMS等。9. 在开始输入、编辑内容中，就是输入法的问题。进入模式是否正确（语言，哪种输入法） a,空消息，满消息的处理（临界问题） b.字数问题：汉字70，符号和字母160，各种输入法混合（插入

28、符号） （按理说，符号和字母应该是140，但是据说160个字母按照某种编码格式可以压缩或者转变为140个进行传输） c.插入，删除，增加，各种操作下光标的位置和提示栏数字的正确与否 d.注意某一输入法中的特别数字键，拼音1、0；笔画6、8、0；英文0、1；还有是各个输入法中都通用的*,# e.不同手机之间字库兼容的问题10语音短信：发语音短信拨打10158，按照提示音操作；收到一条10158发来的短信提示。Setting测试1.“语言选择”中注意中英文模式下对照各界面是否一致以及和UI-spec是否一致2.“输入法”中注意当选择某一输入发后,在PB,SMS等中的输入法是否和设置的一样3.“话机

29、音量”中注意当音量改变时,实际音量是否真的有变化. 4.“通话设置”验证基本功能的实现,对呼叫等待和呼叫转移的各种情况要全部覆盖,校验其正确性.5.“手机锁定”除了验证基本功能的实现,还要验证在锁定状态下的一些测试,如在锁定状态下,能否拨打固化的紧急号码和自己设置的紧急号码,是否有手机锁定的图标显示等6.“UIM卡密码” 除了界面检查之外,主要是验证PIN 码能否启动,修改,关闭功能. 如输入错误的密码以及输入错误的位数 ,有什么结果或提示,是否和UI-spec一致.7.“紧急号码”验证能否设置自己的三个紧急号码,能否在手机锁定下,能够拨打这三个号码,以及无UIM卡时,出现的情况是否和UI-S

30、pec一致.8.“恢复出厂设置”主要校验恢复出厂设置之后的各缺省值的正确性9.“修改安全密码”主要校验输入错误密码和输入错误位数时出现的情况是否和UI-Spec一致.10.“黑名单”主要验证能否把某人加入黑名单,以及加入到黑名单的人是不能打通本机号码PB1,检验PB记录的姓名只有在姓名为空格的情况下显示为空，在记录名为空白的情况下，显示号码2，在中文下修改分组名称如将朋友修改为Friend,查看英文模式下分组名称3，在中文下修改分组名称如将朋友修改为朋,查看英文模式下分组名称应该为朋友4，在中文下将记录姓名设为“确认”“返回”“删除”等5，在中英文模式下用电话本位置拨号拨打电话6，查看所有的界面标题正确所有的软键正确7，查看所有PB菜单在英文状态下与中文翻译一致，并且不出