如何出色的完成一次对外测试任务.docx
《如何出色的完成一次对外测试任务.docx》由会员分享,可在线阅读,更多相关《如何出色的完成一次对外测试任务.docx(8页珍藏版)》请在冰豆网上搜索。
如何出色的完成一次对外测试任务
产品名称Productname
密级Confidentialitylevel
QuidwayS8500
内部公开
产品版本Productversion
Total10pages共10页
V100R002
如何出色的完成一次对外测试任务
拟制:
庞宁
日期:
2007-3-22
审核:
曹霞、吴冠标
日期:
审核:
日期:
批准:
日期:
华为三康技术有限公司
Huawei-3ComTechnologiesCo.,Ltd.
版权所有XX
Allrightsreserved
修订记录Revisionrecord
日期
修订版本
修改描述
作者
2007-3-22
1.00
初稿完成
庞宁
1对外测试的定义和原则4
2对外测试的前期准备工作4
2.1站在客户的角度上分析客户的测试意图4
2.2充分的做好测试方案的预测试5
2.3做好正式测试前的“硬件准备”5
2.4对产品的缺陷及规避方法牢记在心5
3对外测试过程的技巧使用6
3.1测试技巧运用的两个前提条件6
3.2“阴影理论”7
3.3测试中使用的技巧7
3.3.1结交新友7
3.3.2声东击西8
3.3.3偷天换日8
3.3.4反客为主9
3.3.5以逸待劳9
4对外测试过程的后期工作10
4.1帮用户去完成测试报告10
4.2测试问题跟踪、测试需求反馈10
4.3测试总结的写作10
4.4对外测试中的其他注意事项11
5后记:
让对外测试变得更加有意义11
从事对外测试工作两年多了,期间饱偿了许多的酸甜苦辣。
下面我就和大家一同分享一下对外测试过程中的经验和教训。
1对外测试的定义和原则
对外测试的定义:
对外测试是为了设备选型需要,由用户召集的评测产品功能、性能的测试活动。
客户开展对外测试的目的是通过测试验证产品是否能够满足其应用需求,或通过测试找出各个厂家产品的差距,为最终选型提供参考。
对外测试的原则:
我们参加对外测试的原则是向客户展示产品的优点和长处,尽量掩饰产品的问题和缺点。
2对外测试的前期准备工作
2.1站在客户的角度上分析客户的测试意图
如果你是客户,你希望购买什么样的设备呢?
对于客户来说他们当然希望所购买的设备能够满足他们的组网应用。
不同的用户对设备的要是不尽相同的。
比如同样是测试路由特性,政府网的用户可能就注重功能的满足,运营商的用户就注重路由的规格,证券公司的用户就注重路由的收敛时间,部队的用户就注重认证保密性和异常报文的攻击。
当然上述的现象也不是绝对的,总之测试之前我们要通过一切办法去了解客户的组网和需求。
精确的理解客户的需求可以让我们立即切中主题,少走很多弯路。
记得在第一次巴西Telefornica测试时,我们没有仔细搞清楚客户的关注点,因而第一次测试的结果比较糟糕。
第二次测试时,我们让市场不断和客户交流,把客户准备开展的业务和客户关注点都逐一记录下来,充分验证准备,最终我们赢得了测试,从而使85产品打开了国际市场的大门。
2.2充分的做好测试方案的预测试
提前做好测试方案的预测试主要有以下几个目的:
a、尽量找出有问题的测试项,进而进行开发定位,修正问题。
;
b、尽量找出不支持或不满足要求的测试项,迅速知会前方市场引导客户对测试例进行删减,如不能删减的,商议对策如何测试通过。
c、对不熟悉的模块进行预验证,可以快速学习相关内容。
由于对外测试压力的存在,测试人员会在最短时间内掌握不熟悉的模块的配置及网上应用。
d、检查测试物料测试仪器是否齐全,在测试前提早做出调整和修正。
但是有些大型或者非常正式的测试,为防止厂商提前做准备,测试方案和用例都是测试前一天或者当天才向测试厂家提供的。
这种情况就需要和市场人员多沟通,尽量把用户的关注点和目前的网络模型搞到手。
然后搭建一个典型组网,进行重点验证。
在最终拿到测试用例后,应立即进行分析,不能确定的应立即找家里人做预测试。
2.3做好正式测试前的“硬件准备”
“硬件准备”主要是指一般对外测试中都要用到的工具、测试软件、配置指导等。
“公欲善其事,必先利其器”,我们已经把测试中最常用到的工具和典型配置以及注意事项归档到如下服务器,大家可以取用:
\\h3crnd07-fs\S8500\维护组\对外测试\4对外测试\测试准备
2.4对产品的缺陷及规避方法牢记在心
前面提过测试的原则是尽量掩饰产品的问题和缺点。
但掩饰的前提,是非常清楚产品规格、限制以及规避的方法。
例如我们知道GV48DB单板QOS效果不好,那么在测试时我们就尽量不要使用这块单板去测试QOS,或者在测试前期就通知市场不要借用这种单板来进行测试了。
3对外测试过程的技巧使用
对外测试过程是一个坚苦而又充满挑战的过程,它要求对外测试人员不但要有坚实的业务技能、同时还要具有灵活的应变能力和强大的求胜欲望。
但主导这个过程的中心思想还是一个原则:
尽量掩饰产品的问题和缺点。
下面我们来着重介绍一些掩饰问题的方法和技巧。
3.1测试技巧运用的两个前提条件
必需强调说明的是,在对外测试中需要使用技巧掩饰问题时,有两个前提条件,当任何一个条件不满足时,你都得规规矩矩的做测试了:
1、问题必须事先跟家里以及市场做好充分沟通,并得到同意。
后方沟通,主要是跟家里沟通这个功能将来用户是否会真的使用,如果将来真的使用,那么我们的版本到时候是否能够满足需求。
如果不能满足,就不能测试通过了。
我就曾经出过这样的问题,那时刚参加对外测试不久,总希望把所有的问题全部测试通过。
当我费了九牛二虎之力终于把一个测试项测通过后,却被家里泼了盆冷水。
因为那个功能用户想马上应用到他们的组网上,而我们是没有办法满足且又没有其他的规避方案的。
最终我还是硬着头皮让用户把结果由“通过”改成“不通过”了,当用户问起为什么时,真是难以解释呀。
记得当时脸都红到脖子根上了。
。
。
市场沟通,主要是将是否通过选择权压在他们身上,避免我们的产品承担一些不必要的风险。
主要是避免将来用户真的使用该功能时,市场人员逼我们产品紧急开发而带来的一些麻烦。
如果市场一定要求我们测试通过,必须让他们写好问题承担责任的保证书,交由产品市场技术经理保管。
2、测试的过程非常严谨,客户是技术专家时,不适宜采用技巧。
在测试过程非常严谨且客户是技术专家的情况下,最好不要采用什么技巧来规避问题。
因为一旦被客户发现,往往可能会导致整个测试失败。
韩国KT测试在业界是出了名的严格,它就规定一旦厂商在测试中途更换版本被发现,将会立即停止其测试,并且KT将永不会应用该公司产品。
我们在KT测试时也发现了一些问题,但始终都没有敢更换版本,就是因为他们对测试的要求太严格了。
3.2“阴影理论”
什么是“阴影理论”
举例来说,两个相爱的人,相处过程中一旦有一些矛盾和冲突,即便后来两人能够和好如初,但是这些矛盾和冲突总会给两个人留下一些阴影。
当更大的矛盾爆发时,这些陈年的“阴影故事”就会一次次的被翻出来。
。
。
。
对外测试也是一样,如果你让用户发现一个问题,那么后续再通过任何补救方式把结果测的再漂亮,但还是会给用户心中留下阴影,最终的测试结果都不是最好的。
这就要求对外测试中,要争取一次性行把结果测到最好。
这就要求对外测试人员做好充分的准备,并运用恰当的技巧来实现。
3.3测试中使用的技巧
3.3.1结交新友
对外测试说白了就是甲方(客户)和乙方(厂商)的对决,甲方希望能够测试出问题和差距以方便他们做对比和选型,而乙方则要想方设法少暴露问题,并最终能让甲方选用他们的产品。
我们所做的是尽量扭转这种对立的关系,也就是要和客户的主测人员搞好关系,成为朋友。
我觉得这一点是非常重要的,通过增进关系,可以更准确把握客户关注的测试点,可以了解到其他友商测试时发现的问题,更可以在测试过程中,使他们放松警惕,为成功通过测试创造更多的机会。
记得在广研院的一次测试,我利用测试间隙和客户聊了聊旅游和户外运动,没想到一下子聊的很投机。
后面的许多测试,他明显没有以前那么严格了,即使遇到了些问题,他也会多给我几次机会。
还有苏州的电信测试,客户的主测官对华为的认证非常感兴趣,我通过市场给他搞了一些HCSE的培训资料,这让客户非常高兴,我还趁机向他宣传了一下华为的文化。
最终苏州测试成功拿下,还屏蔽了中兴、思科等友商的进入。
后来那个客户还会经常来询问一些认证方面的考题。
有时我也在想要是能够激发出客户对华为设备的兴趣,许多对外测试就可以不功而破。
3.3.2声东击西
声东击西原意是指在东面造势吸引敌人注意力,却出其不意的从西面攻击敌人。
在对外测试当中,就是采用一部分人吸引主测人员的注意力,另一部分人乘机修改底层命令,从而通过测试。
这种方法一般至少需要两个人通力配合才能实现。
北京CN2测试时,客户要求mac地址学习速度一定要达到2000/秒以上,而当时只有通过修改底层命令才能实现。
我当时就负责引开主测人员注意力,装作请教问题,探讨方案。
另外一名测试人员乘机修改底层命令。
最终,我们通过了该测试项。
3.3.3偷天换日
偷天换日原意是指用偷换的办法,暗中改换事物的本质和内容。
以达蒙混过关的目的。
用在对外测试当中就是用好的规避措施去替换无法满足用户要求的问题。
在北京网通测试时,用户在受了其他友商的引导后,硬要测试设备限速后的SP+WRR调度,而这个功能是他们将来根本不会用到的。
我当时做法就在设备上插两块单板,两块板插上很多网线(迷惑用户),二号槽位板上做了一些假配置,三号槽位板上通过限速实现所谓的WRR调度,然后给用户看二槽位板上的配置(其实是通过三号板的限速实现的),最终通过了测试。
这里主要利用了一般客户搞不清楚我们槽位的编号顺序,另外一般用户也不会在测试过程中去整理测试环境上的网线。
3.3.4反客为主
在对外测试时,特别是多个厂商同时参加测试项目,此时一定要反客为主,争取到有利形势。
多个厂商同时测试时,各个厂商都会尽量去将客户向对自己有利的一方去引导。
这个时候一定要挺身而出,以达到引导客户,控制局面的目的。
必要时,需要利用你的学识和技能去和其他厂家辩论,此时要表现的强势一些。
在山东网通测试时,参测的厂家很多。
大家伙都在设法引导客户,但很多厂家测试人员对组播的转发流程并不是十分清楚,我趁此机会在白板上给大家培训了一下组播的转发流程,客户主测人员一下对很多问题恍然大悟。
后来,客户有问题就来向我咨询,后续的测试当然就游刃有余了,此时你还可以趁机对其他厂商不能实现功能进行有力打击。
3.3.5以逸待劳
以逸待劳原意是指待机而动,拖住敌人待耗尽敌人的耐力和耐心后,突然出击得以致胜。
在对外测试中,当客户对整个测试盯的非常紧时,而我方又当遇到需要更换版本或下发底层命令时,可以故意拖延时间,侍机而动。
另外,测试中一些比较困难的测试项,也可以放在客户比较忙或比较累的时候测试,也可以等到中午或晚上下班前进行测试,因为那时客户归心似箭,也正是警惕性比较松懈的时候。
巴西测试时,曾遇到过一个问题,如果让客户检查结果必定会判测试不过。
我佯装对配置不熟,硬是将测试拖到了中午午饭时间。
我让市场人员带着客户去一个远点的地方吃饭并尽量拖延时间,然后加紧找开发人员定位问题。
经过整整一中午的努力,终于在下午上班前将问题搞定。
当然,对外测试中不仅限于上述的技巧,大部分的测试技巧都是在不断的测试实践中总结出来的。
在对外测试中切忌生搬硬套这些技巧,技巧的运用能力更多的来源于测试的经验。
所以对于刚刚从事对外测试的新手来说,不要着急的去运用技巧,稳妥是第一位的。
4对外测试过程的后期工作
千万不要觉得对外测试过程结束就万事大吉了。
对外测试过程的结束,其实只是完成了对外测试的大部分工作,后续的一些工作也是非常重要的。
4.1帮用户去完成测试报告
如果有可能,尽量帮用户完成对外测试报告。
这样我们可以对所有的测试结果再做一次细致的检查,另外一些不满足的测试项目,我们可以在测试结果中修改措辞,尽量去降低它的对整改测试的影响。
此外,我们还要拿到最终客户签字的测试记录,归档留存。
4.2测试问题跟踪、测试需求反馈
测试中想法设法掩饰过的问题,回家后一定要迅速提单跟踪,并协助开发将问题复现解决,防止后续测试再出现相同的问题。
对于已知缺陷,回家后也要认真总结缺陷规避的方法。
对于客户提出的需求,一定要想办法跟客户讨论透彻,并生成外部测试需求说明书。
再提交需求跟踪电子流,跟产品系统组仔细论证该需求是否有广泛的代表性。
毕竟快速生产出客户喜欢、愿用的产品,才是我们产品的生存之本呀。
4.3测试总结的写作
测试结束后,测试人员应该将测试中发现的问题,和友商测试的结果对比,测试后心得体会等及时的总结下来,并归档保存。
这对后续碰到类似的测试将启到一定的指导意义。
4.4对外测试中的其他注意事项
1、要和版本测试那边经常联络,把握最新特性的开发进度。
同时不断学习新特性,要跟得上产品开发得步伐。
2、在对外测试过程中,对于没有实现的特性,一定不能向市场和客户承诺实现的路标,即使你知道这个特性的实现时间。
这种问题请他们咨询产品的市场技术经理。
3、尽量使用主线版本进行测试,避免使用测试版本,如果非使用不可,则需要得到开发代表,市场技术经理,测试经理,版本经理一致同意并支持,并且走版本发布流程。
4、需要及时将测试的进度和问题以测试日报的形式反馈给研发。
5、测试结束后,测试版本应立即删除,以免产生其他不可控制的影响。
5后记:
让对外测试变得更加有意义
对外测试是产品销售链条中非常重要的一环,同时它也是产品内部测试和外部应用需求的窗口。
一次成功的对外测试,不仅是将测试通过,把产品卖给客户,更重要的是把外部客户的关注点和应用组网反馈给版本测试,使我们版本测试更加贴近于应用型测试。