1、手机测试策略call CDMA 手机测试经验总结 手机测试前要先注意手机上市的三个里程碑:1. 信息产业部 TA测试由信息产业部进行的为获取NAL(Network Access License)而进行的测试。与软件测试相关的主要是CTTL的一部分测试用例和UG交叉检查。UG提到的功能都要求已经实现。一般来说,检查的都是比较基本的功能。2. 网络运营商 PA测试由运营商进行的产品接受性测试。与软件测试相关的主要是增值业务测试。这里要求有关增值业务的软件,都能符合运营商的要求(有终端规范和测试规范)。另外,要求手机软件成熟、稳定。3. 手机上市主要的测试策略?Release Test:每个软件版本
2、都要进行的测试,主要涉及每个Feature最基本的功能。?Error Verification:集中在这个版本相对上个版本修改的Error、增强的功能以及新加的功能的测试。?Full Feature Test: Feature功能的全面的测试。考虑到人力,资源以及有效性,只在比较重要的软件版本上测。(要求测试的软件版本具有一定稳定性和成熟度)?CTTL Related Test&UG Cross Check: 主要是针对TA做的准备测试。?Error Regression Test:在最后相对稳定的软件版本上,把已经修改好的Error重新验证一遍,以确保没有重新出现。?Pre-PA Test:
3、按照运营商的测试规范进行的增值业务相关的测试。?Free Test:有效地弥补测试用例的缺陷。发现深层次错误的重要途径。测试重点:Before TA?每个软件版本都要进行Release Test和Error Verification。?手机的所有Feature都Configuration好之后,就可以进行一次全面的Full Feature Test。?尽早进行CTTL Related Test&UG Cross Check,给研发人员充分的时间去修改Error。?如果只有一部分的Feature提前做好Configuration,就可以对这些Feature进行单独的Full Feature Te
4、st。测试重点:Before PA?在这段时期主要针对增值业务的测试以及对于先前发现的Error的跟踪测试。?对于支持运营商的增值业务的手机,要对相关Feature进行Full Feature Test和准备PA测试。?由于前一阶段时间有限,为了弥补对一些没有覆盖的功能以及一些深层次的测试,需要对各个Feature进行有方向的大量的Free Test。?在要送往运营商做PA测试的软件版本上,进行所有Feature的Full Feature Test,以及准备PA测试,确保能够通过测试。测试重点:Before Launch?这段时期软件相对比较成熟,主要应该考虑一些以前测试比较薄弱的地方、或者E
5、rror比较集中的地方。如何做好手机UI测试项目的管理?角色分工清晰?做好Test Schedule,安排好各个时期所需的测试?做好测试的准备工作?制定好每个测试的流程?制定好Error管理流程(Report, Update, Follow-up)?收集各个时期比较重要的Error,并随时跟踪状态。?如何能发现更多有效的BugBug的分类功能性Bug(不能Call,发SMS)UI的Bug(和spec相比较,界面上的图片,文字不一致)逻辑性的Bug(执行某些步骤,未进入相应的界面)可以通过以下方法进行手机测试1. 重复操作,2. 快速按键,3. 边界测试,4. 按非正常键,选择一个其他路径实现同
6、一个功能5. Memory6. 返回前一个状态7. 交互8. 非法输入9. 换卡10. 检查缺省值11. 特殊状态下的操作12. 长时间使用一个功能13. 中断正在进行的操作14. 压力测试手机测试过程一般走两到三轮的CASE,建议第一轮针对spec做一些UI的自由测试。如果是一个新的项目的话,第二轮和第三轮严格的执行CASE,看手机的bug数目情况,如果大的功能还没有实现的话,还要在执行case,如果实现了,接着做自由测试一到两轮,一般前面四到五轮测试,都是每个人测试自己的模块。前面执行五轮了,应该可以发现70%的bug。从第五到六轮开始做交换模块测试,另外根据项目的进度,在第6轮到第7轮做
7、性能测试和压力测试,以及弱信号的测试。另外还要注意一个问题在基本功能比较完善的情况下,执行并发性测试,在测试项目快结束的时候还要做一次并发测试。并发测试状态插入事件处理方式闹钟界面来电闹铃音停止,到来电界面,提示振铃。来短信无短信提示音,手机会振动一下,按任意键停止闹钟后,到新信息提示界面。低电量提示会有图标闪烁。不会有提示音。游戏中界面来电游戏自动保存,到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。游戏结束画面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量
8、提示电池图标闪烁,并伴有低电量告警音闹铃时间到游戏结束音被闹铃中断,伴随振动,闹钟小图标闪烁,五秒停止。游戏存储界面来电游戏不保存,到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。游戏暂停界面来电游戏自动保存,到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。各类确定界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。
9、闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。编辑界面来电到来电界面,提示振铃。短信编辑中来电自动保存内容。电话簿编辑中来电不保存内容。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。万年历界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。计算器界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随
10、振动,闹钟小图标闪烁,五秒停止。各种测试界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。铃音浏览界面来电所浏览铃音被来电铃音替代,到来电界面,提示振铃。来短信所浏览铃音被短信提示音替代,有短信小图标提示。低电量提示所浏览铃音被低电量告警音替代,电池图标闪烁。闹铃时间到所浏览铃音被闹铃铃音替代,伴随振动,闹钟小图标闪烁,五秒停止。菜单浏览界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,
11、闹钟小图标闪烁,五秒停止。密码输入界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。待机界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。显示新信息提示界面。低电量提示弹出低电量POP画面,并有低电量提示音,电池小图标闪烁。闹铃时间到到闹钟界面,闹铃响。电话簿初始化界面来电初始化完毕后,进入来电界面,提示振铃。来短信初始化完毕后,有短信提示音,有短信小图标提示。低电量提示初始化完毕后,才会提示。闹铃时间到初始化完毕后,进入闹钟界面,响闹钟铃音。新信息,未接来电
12、界面来电到来电界面,提示振铃。来短信有短信提示音,新信息前数字+1。低电量提示电池图标闪烁,并伴有低电量告警音。闹铃时间到闹铃响起,伴随振动,闹钟小图标闪烁,五秒停止。手机锁定界面来电到来电界面,提示振铃。来短信有短信提示音,有短信小图标提示。显示新信息提示界面。低电量提示弹出低电量POP画面,并有低电量提示音,电池小图标闪烁。闹铃时间到到闹钟界面,闹铃响。未插入UIM卡低电量提示(IDLE界面)弹出低电量POP画面,并有低电量提示音,电池小图标闪烁;(非IDLE界面)电池图标闪烁,并伴有低电量告警音。闹铃时间到(IDLE界面)弹出闹铃POP画面,并有闹铃铃音响起,同时闹铃小图标闪烁;(非ID
13、LE界面)闹铃响起,伴随振动,闹钟小图标闪烁五秒钟。来电中闹铃时间到手机振动且闹铃小图标闪烁五秒钟,来电界面正常。低电量提示有电池小图标闪动,来电界面正常。拨出电话中闹铃时间到手机振动且闹铃小图标闪动五秒钟,可正常拨出电话,界面显示正确。低电量提示有低电量警告音且电池小图标闪动,可正常拨出电话,界面显示正确。通话中来短信有短促提示音,显示未读短信小图标,可正常通话,界面显示正确。闹铃时间到手机振动且闹铃小图标闪动五秒钟,可正常通话,界面显示正确。有电话呼入(设置呼叫等待)测试机界面显示呼入的电话号码及呼叫等待字样,测试机正常通话。低电量提示有低电量警告音且电池小图标闪动,可正常通话,界面显示正
14、确。性能测试:在PB将满和满的时候,和SMS将满和满的时候,有闹铃等并发性的事件发生,电话呼入和呼出的情况,查看PB和SMS。对比测试:依据手机的功能而言,用被测手机和对比样机做对比。主要是Call和SMS,用被测手机分别往被测手机和对比样机上发SMS(注意能否接收到,特殊字符能接收到吗),一般测试两组,一组是25次,共测试50次,记录下接收的成功率,及注明不正常现象的comments。弱信号关机开机注册测试:用被测手机在信号比较好的区域,拨打信号比较差的区域的被测手机和对比样机,一般测试两组,一组是25次,共测试50次,记录下接收的成功率,及注明不正常现象的comments。通话质量测试:在
15、CALL 测试的过程中,关注通话有无杂音,噪音,啸叫等等问题在测试的每一轮中都要注意每一轮的测试重点,根据上一轮的测试情况,制定下一轮的测试重点。以及要注意测试优先级。针对release版本的测试要重点把握那几项测试:如果进入release版本的测试,bug是测不完的,对Bug要明白一点测试是发现重要的bug,而不是发现所有的bug。1.基本的function测试,重点对某项操作几次,还有做自由测试(等价类划分,冗错性测试,边界值测试,)换卡,开关机,低电量会不会清除PB,SMS,恢复出厂设置是否应该删除PB,SMS。2.长按键,快速按键,UIM-LOCK ,注意:人力资源,一些未能达到的硬件
16、要求。 应让供应商在项目开始的初期就提供一些样机,比如在万年历中星期的缩写。有的是WE都是大写,有的是We。电话本的排序:基本的方法是取每个姓名第一个字的Unicode编码,按照ASCII表字符顺序排列但是有下面2个例外:(1)英文字母不区分大小写,例如a和A将会排在一起,先新建的记录排在上面。如新建3笔记录A、a、A,进入电话簿后顺序为:A-a-A。(2)汉字取其拼音的首字母。例如阿和 a,A将会排在一起,但是阿在a,A后面,即汉字在英文字母的后面。具体手机功能测试方法:测Call功能的时候,应该注意的一些事项1. 一般用户的操作方法的验证2. 非Idle状态来电之后拒接,未接,通话结束后都
17、返回Idle。3. CALL 来电和PB中号码的匹配4. 来电主叫禁显的测试5. 来电号码为黑名单的电话6. 更改PB中电话号码的用户名称后,查看对应的呼叫记录是否正确7. 来电后,通话记时是否正确8. 通话记录的排序9. 打,国外,长途,移动,连通,铁通,小灵通,固话,IP电话是否通话清晰没有杂音;10. 直接拨打分机(p)11. 打电话中交叉事件的处理(低电量,闹钟等)12. 打电话过程中,浏览PB,SMS,调节音量等等的操作13. 紧急呼叫的和PB电话号码的匹配14. 注意耳机在未插入话机时,手机上的“自动接听”功能是否生效。插上耳机后手机是否会有提示(文字还是键盘指示灯),插上耳机后,
18、此电话被叫,声音是从那里发出的。15. 呼叫等待和三方通话的功能 三方通话和呼叫等待业务的使用需要SP授权。三方通话的建立与处理过程,区别于呼叫等待(Call Waiting)的处理。简而言之,MS在通话过程中如果有来电,则为呼叫等待处理过程;如果MS在通话过程中发起另一通呼叫,则为三方通话处理过程。假设3部手机:A,B,C。 A是有三方通话卡的手机。1.如果A先拨打B,接通B之后,A再去拨打C并且接通 解:界面显示B的号码。 2.接通之后和A的通话对象是谁? 解: A与C通话,B被保持。 3.B、C之间能否通话,可以的话是在什么条件下?解:在2的情况下用户按SEND键开始三方通话,即A、B、
19、C同时对话,任意一方说话另两方都能听见;但B和C不能脱离A私聊。 4.A能否按某一键进行切换选择与B通话,屏蔽C或者选择与C通话,屏蔽B;解:不能。 5.电话挂断:如果A主动挂断,什么情况?如果B或者C主动挂断, 又是什么情况?解: A为主控方,如果A挂断,B、C将被挂断; 如果B(或C)挂断,则A与另外一方C(或B)继续通话。 6.A能否按某一键选择与B通话挂断C,或者与C通话挂断B。如果 可以与B通话挂断C,挂断C后能继续直接和B通话还是要B再自动 拨打A解: C为后加入的第三方,如果A按SEND键,则C将被挂断,A与B继续通话; A不能挂断B而与C通话。 7. 如果A先拨打B,接通B之后
20、,A再去拨打C,没接通C前按 End键,会出现什么现象?是把B、C全部挂断了?解: A与B通话过程中拨打C并听到回铃音,则B被保持,在C未接听前A按END键挂机,C被挂掉,A将尝试取回被保持的电话B,即正常情况下A会收到B的来电。 8. 如果A先拨打B,接通B之后,有C拨打A,但是A不想接C的电话,能否在这个时候挂断C的电话,继续和B通话?解:不能。 A与B通话过程中如果有来电,即为呼叫等待,A会听到C来电的提示音,并且在20秒(时间可程序定制)内会有通话等待界面提示; A如果不接听,则继续与B通话,在C未挂机之前可按SEND键接听;A接听,则A与C通话,B被保持,A可按SEND键来回切换与B
21、或C通话。 16要注意拨打固定电话分机的方式输入总机+P+分机,然后直接拨打这个分机,看是否需要在接通总机后,再按“Send”键。还是直接就可以拨打出去。17.拨打国际长途输入符号“+”或“00”18.手机在插入UIM卡或没插入UIM卡的时候,拨打电话会有什么样的显示,其界面是否和spec上一致。19.拨打IP卡,看手机的界面显示是否正确。20拨打紧急电话(系统的和自己设置的),要注意有无UIM卡的情况。21 输入号码长度的限制通话记录首先这个模块是与Call、PB有直接联系的,这是因为来电和拨电话的同时,手机会在PB中进行匹配,从而能在通话记录中显示相应的姓名。所以在这个模块中多进行一些保存
22、号码的操作,或者改动过PB后要回头看看通话记录的姓名有没有发生变化。第一:查看PB后,保存号码的时候输入最大长度而且是中英文及特殊字符混合的姓名。类似这种混合字符最容易引起乱码问题。第二:在测试中,要考虑到来电为禁显号码、IP、长途的测试。第三:在删除通话记录时,挨个删除时按照顺序,有从前往后删和从后往前删以及从中间删,看删除后光标的位置是否符合设计要求。以及删除后,再去查看记录是否被删除。同样,在PB和SMS中也可以用到这样的方法删除记录。第四:与其它模块界面的测试相同之处在于:注意中英文界面下有没有错别字,显示的格式是否正确,POP框的提示与UI Spec是否一致。第四: 只要打电话或接电
23、话,进行与Call有关的操作,一是看来电显示,二是马上看通话记录。做过其它模块任何操作都可以再看看通话记录。第五:没事的时候也常进行开关机以及充电的操作,开机后看看通话记录,检查有没有什么变化。曾经发现通话记录中无缘无故多了一个“无效号码”,且时间是01/06, 00:00,怀疑是内存泄漏。第六:PB满时保存号码等操作一定要多做一些。电话簿和短信息容量将满或已满时,对手机的内存量影响比较大,容易出现各种问题。第七:通话计时:最后通话:是指最后一次对手机进行call的呼叫通话总计:包含的是已接来电+已拨电话的时间,如果对通话总计清零,那么已接来电,已拨电话对被清零。第八:与闹钟、短信、来电、游戏
24、、低电量等的交互要多测一些。第九:要测试手机键盘上的快捷键,可以直接进入相应的通话记录。第十:要注意开关机是否会对通话记录产生影响。SMS测试1. 每个界面都有可能出错;进入,等待,返回,弹出POP等;在每个界面中,出现交叉事件,从交叉事件出现前到出现后,观察画面(标题、状态栏),声音,振动,图标等,是否有逻辑错误等(下一步出现的界面不合理)2. 交叉事件: 电话(来电,来电提示,来电图标,呼出,)、闹铃(闹铃声,闹铃周期,一次闹铃时间,闹铃图标,有无振动)、 短信(提示音,振动以及时间,图标)、低电量关机(界面有无异常,再开机后之前的操作是否有效)按End键(在某些情况下,可检验有无内存溢出
25、,个人也不是很清楚)合盖(翻盖):有无合盖音,翻盖音,背景灯的变化,信号问题:信号突然变差背景灯:是否设置有效,背景灯熄灭后(多长时间),按某键激活是否在各个界面下足够长时间内都能回到待机界面 耳机问题:插入,拔出,耳机上的按键,对所处界面的影响和功能的影响 充电器问题:插入,拔出 数据线问题:(高端手机连接电脑, 此C1161手机无)4. 进行SMS操作之前的状态:a. SMS容量(收件箱,存储箱的数量),存储位置,短信类型(紧急,普通,互动等),短信提示,b. 待机界面有无各种标志:未接电话,未读短信,静音,振动 ;c. UIM卡类型(双模卡、133如意通、Up新势力等、不同的生产厂商)、
26、容量(32K,16K等),考虑到兼容性的问题;d. 电池电量;信号强度;e. 背景灯设置;色彩基调、墙纸设置,中文还是英文模式;设置的是哪种输入法;手机各种默认的设置;内存占用情况(信息箱中有多少条信息)f. 有无插着耳机,充电器;5. 进行各种SMS操作:a. 主动发SMS:走不同路径-进入短信编辑界面-开始输入、编辑内容-在POP选择Send-输入或选择号码-发送(最后一步)(按End) b. 回复SMS: c. 转发SMS d. 删除:按哪种条件、分类删除,是否有效,在删除过程中有新短信,新短信会被如何处理? e. 浏览短信内容,包括收件箱里的,存储箱里的,查看界面,功能6. 完成SMS
27、操作:是否发送、接收成功, 是否存储在对应的位置(接收是在UIM还是话机等),短信计数是否正确,比较进行SMS操作之前的各种状态7. 在进行SMS操作的过程中(各种界面中),出现以上的交叉事件,界面显示是否正确,有些还涉及到声音,震动,图标闪烁以及相关时间延续等8. SMS的压力试验,临界问题(字数);SMS的成功率;开机后接受大量短信情况;不停接收短信至满后,按Sr或此时低电量关机,或继续给测试机发SMS等。9. 在开始输入、编辑内容中,就是输入法的问题。进入模式是否正确(语言,哪种输入法) a,空消息,满消息的处理(临界问题) b.字数问题:汉字70,符号和字母160,各种输入法混合(插入
28、符号) (按理说,符号和字母应该是140,但是据说160个字母按照某种编码格式可以压缩或者转变为140个进行传输) c.插入,删除,增加,各种操作下光标的位置和提示栏数字的正确与否 d.注意某一输入法中的特别数字键,拼音1、0;笔画6、8、0;英文0、1;还有是各个输入法中都通用的*,# e.不同手机之间字库兼容的问题10语音短信:发语音短信拨打10158,按照提示音操作;收到一条10158发来的短信提示。Setting测试1.“语言选择”中注意中英文模式下对照各界面是否一致以及和UI-spec是否一致2.“输入法”中注意当选择某一输入发后,在PB,SMS等中的输入法是否和设置的一样3.“话机
29、音量”中注意当音量改变时,实际音量是否真的有变化. 4.“通话设置”验证基本功能的实现,对呼叫等待和呼叫转移的各种情况要全部覆盖,校验其正确性.5.“手机锁定”除了验证基本功能的实现,还要验证在锁定状态下的一些测试,如在锁定状态下,能否拨打固化的紧急号码和自己设置的紧急号码,是否有手机锁定的图标显示等6.“UIM卡密码” 除了界面检查之外,主要是验证PIN 码能否启动,修改,关闭功能. 如输入错误的密码以及输入错误的位数 ,有什么结果或提示,是否和UI-spec一致.7.“紧急号码”验证能否设置自己的三个紧急号码,能否在手机锁定下,能够拨打这三个号码,以及无UIM卡时,出现的情况是否和UI-S
30、pec一致.8.“恢复出厂设置”主要校验恢复出厂设置之后的各缺省值的正确性9.“修改安全密码”主要校验输入错误密码和输入错误位数时出现的情况是否和UI-Spec一致.10.“黑名单”主要验证能否把某人加入黑名单,以及加入到黑名单的人是不能打通本机号码PB1,检验PB记录的姓名只有在姓名为空格的情况下显示为空,在记录名为空白的情况下,显示号码2,在中文下修改分组名称如将朋友修改为Friend,查看英文模式下分组名称3,在中文下修改分组名称如将朋友修改为朋,查看英文模式下分组名称应该为朋友4,在中文下将记录姓名设为“确认”“返回”“删除”等5,在中英文模式下用电话本位置拨号拨打电话6,查看所有的界面标题正确所有的软键正确7,查看所有PB菜单在英文状态下与中文翻译一致,并且不出
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1