华为3COM的测试体系资料.docx
《华为3COM的测试体系资料.docx》由会员分享，可在线阅读，更多相关《华为3COM的测试体系资料.docx（22页珍藏版）》请在冰豆网上搜索。
华为3COM的测试体系资料
三亿投入独立鉴定测试中心
作为世界上对产品品质最为挑剔的日本厂商，NEC曾在与H3C合作之初反馈了不少产品稳定性和兼容性问题，而同样的问题也屡屡从其他战略合作伙伴处反馈过来。
而现在，NEC的资深工程师会说“H3C产品的质量是最好的！
”，同时也对H3C的产品实行免测。
这只是H3C鉴定测试中心成立六年多来所取得成果的一个小小缩影。
从2004年4月成立至今，H3C通过在软、硬两方面对产品鉴定测试中心进行大力持续的投入，为鉴定测试中心逐步实现“建立专业权威、开放共享、服务做实的业界一流独立测试机构”的愿景提供了有力的保证。
在硬件投入方面，H3C在北京和杭州两地建立了试验室，测试中心（从上下文看，测试中心就是鉴定测试中心）拥有包括TestCenter、Smartbits、Avalanche、BPS、Ax4000、Abacus、N2X、IXIA、VTP、Hostsimulator等在内大量当前业界最为先进的测试仪器，同时，实验室的UPS不间断电源可以保证测试业务不间断持续运行。
到现在为止，测试中心的累计投入已超过三亿元，这样规模投入的测试中心，在国内数据通信设备厂商中是绝无仅有的。
在软件投入上，H3C对测试中心同样投注了大量精兵强将，目前测试中心有系统测试工程师百余名，其中多数为具有七年以上数据通信产品和解决方案测试经验的资深专家、通过高级网络工程师认证的专家以及高级测试工程师。
先进的技术设备和一大批技术实力与经验水平高超的“精锐部队”，使鉴定测试中心形成了强大的测试实力。
模拟客户真实应用场景的测试能力
作为领先的专业测试机构，目前，测试中心能够为IP领域内的各类产品和解决方案提供专业测试服务，产品覆盖路由、交换、安全、语音、存储、视频、监控、无线、业务软件各个领域，同时也可为跨产品、跨业务领域的各类大型综合解决方案提供专业测试。
而在大规模性能测试方面，测试中心拥有的360*GE、48*10GE端口，使得开展超大规模的性能压力测试游刃有余，并且所有通过测试中心测试的产品，都经历了满规格性能压力测试和7×24小时Duration测试。
H3C产品鉴定测试中心的过人之出处还表现为模拟客户真实应用场景的能力。
H3C的客户来自于超过110个细分行业，每个行业都有自己独特的应用，要在短时间内，对产品或解决方案的质量进行全面的综合鉴定，绝非易事，而测试中心创新地解决了这个难题。
首先，测试中心构建了一个大规模的内部运营网络，集成了数据、语音、视频，提供了各种常见的业务。
测试中心自身所有的办公系统和电话系统都直接运行在这个内部运营网络中。
所有产品自鉴定伊始，都要在这个环境中不间断运行3个月以上，并接受在控制平面、数据平面和管理平面的综合大压力和长时间运行稳定性测试。
其次，测试中心通过测试仪器和自开发测试工具组合，能对构成网络的各个部件进行模拟，并具备各种常见应用的端到端业务模拟能力，同时可以模拟各类网络攻击和网络应用异常。
测试中心具备的强大测试仪器和测试工具资源，确保能进行端到端4-7层深度业务测试，更好的模拟客户网络应用。
而在全面的覆盖测试和应用仿真测试之外，测试中心也可针对当前的应用热点或客户关心的特性，如IPTV、安全、组播、异常协议报文、多业务板卡组合应用等，展开专项测试。
利用压强原则，重点投入，突破单一特性的功能、性能极限，满足客户需求。
第三，测试中心组织技术专家，根据产品定位，采取走出去请进来的工作方法，主动参与重大典型的行业项目，积极研究产品在各个行业的应用，业务模型和流量模型，并进行抽象和融合，做到了在几个综合测试环境中能覆盖主要行业的各种应用。
永不停步的合作创新意识
测试中心要给产品以持续的质量压力，必须保持在测试方式方法上一定程度的领先。
这要求测试中心必须不断引进最先进的测试方法，学习业界最前沿的测试方法，并在消化吸收的基础上实现创新。
创新是高科技企业的本质，虽然测试工程师并没有参与产品编码，但却因测试拥有更为开阔的思路和视野。
为提升测试效率，测试中心自主创新，应用自动测试跨越功能测试，进一步深入系统测试阶段，对系统的各个功能展开比手工测试更全面、更严酷的覆盖测试，相对05年测试能力基线，自动化测试的应用，使得测试覆盖度提高30%，测试效率提高50%，网上问题降低60%。
测试中心还参与了驻地网验收标准、IPTV测试标准、防火墙测试标准等国家测试标准的制定。
目前，测试中心已和国内外的各类测试机构建立了合作关系，比如和领先的测试设备厂商Spirent，IXIA，Veriwave等结成了战略合作伙伴，并和业界知名测试机构如TheTollyGroup，NetworkTest等多次合作。
自身的创新与领先仅仅是实现目标的一个方面，如果仅仅是测试中心的创新和领先，企业的整体进步可能是滞后的。
只有本着合作精神，充分开展有效的沟通和测试技术成果共享，才能推动整个体系不断完善与发展。
为此，测试中心不仅积极推动HA指标测试标准、产品规格性能测试标准等公司内部测试标准的制定，努力把团队技能转化为公司财富，还以TDMS（测试数据管理系统）为平台，在整个测试体系（包括产品线内部的测试人员）内分享测试规范、测试经验集。
良性循环就这样形成了：
产品苦练内功，从开发测试各个环节提高能力。
产品在提交测试中心验证前，可以充分借鉴测试中心已有的鉴定方法，进行自检。
测试中心在鉴定测试前的产品技术讲解、测试策略评审、测试中的问题沟通、发现问题的测试分析，又都需要和各产品线紧密合作。
产品线测试能力的提高进而会推动测试中心的测试技术不断发展创新，保持业界领先，双方相互依赖，相互促进，不断向共同的质量目标迈进。
除了产品鉴定测试外，测试中心作为资源部门和H3C测试体系主管部门，在产品线需要协助的时候，总是给予强有力的支持。
例如，H3C在推出高端旗舰产品SR88与SR66高端路由器时，测试中心大批骨干一起投入，在三个多月的时间里，与产品开发团队合作攻坚，把测试领域的精华得以完整体现：
专业完善的策略制定，细致全面的测试分析，深厚的测试设计和技能积累，节奏紧凑细致全面的测试执行，对开发设计的有效推动，对质量的严格把关和评估。
从后期SR66/88系列在客户网络上发回的跟踪报告可以看到，产品表现非常稳定，最终铸就上网后3个月内每款产品软件缺陷小于5的纪录，取得空前成功。
H3C鉴定测试中心无时无刻不清醒的认识到：
测试中心代表的是客户的利益，必须是诚实公正的“第三方”，必须把这种意识牢牢的嵌入每一位团队成员的大脑，并一代代的传承下去，才能一如既往的履行客户和公司所赋予的“神圣职责”。
伴随着这种开发与测试的博弈与共进，H3C时刻准备迎接产品品质的极限挑战。
三权分立的研发架构：
品质不是口号是管理
品质是企业的生存之本。
H3C认为，品质不是口号，是管理，要靠先进的管理体系和有效的执行力实现。
H3C之所以能够快速、高质量的推出满足不同客户群体的产品和解决方案，“三权分立”的研发架构功不可没。
三权分立的内涵
立法：
定标准
制定所有的硬件、软件、测试标准。
还负责培养出懂得执行标准的人。
好比行军打仗，既确定训练士兵的方法，又负责把老百姓训练成士兵。
有立法机构制定规范，这是与一般研发组织相比来说具备的一大特点。
在此基础上H3C从第一行代码第一个功能特性开始积累到今天已经形成接近八千个协议和功能，以及上千万行代码；硬件类规范分为工艺、结构等八个大类已实施500余件，文档规模超过2000万字。
开发人员在学习掌握了各类开发规范和模板后，能够充分利用成熟技术与共享资源，降低开发成本，增强产品稳定性。
行政：
产品开发
一个产品的开发工作由一个PDT（产品开发团队）负责，PDT成员来自各个业务单元，包括软件开发、硬件开发、工艺控制、供应链、技术服务、财务等。
PDT要遵循立法机构制定的标准规范进行产品开发。
在开发小组中，为了验证产品开发质量、不断发现问题并改进，在开发过程中必须相应的进行产品测试。
产品测试，是由PDT团队中的专职测试人员，在开发过程中进行的全面、深入的针对产品各项功能性能等方面的测试，是产品“自我检验”的方式。
司法：
鉴定测试
软硬件鉴定测试是由独立于开发团队、H3C内部的第三方测试机构来完成，对产品进行硬件测试和软件系统测试。
由于其特殊的地位，在H3C内部代表客户利益，对产品进行严格把关，保证测试结果的准确、公正。
H3C公司所有的产品在大规模发布前，必须通过严格的软硬件鉴定测试。
开发与测试的博弈
传统的研发架构
H3C的研发架构
开发和测试的地位
产品开发为核心
测试和开发独立，地位平等
测试的“司法”独立性
测试依附于开发
测试独立于开发
测试的“司法”公正性
容易受上市时间点的影响，公正性会受到一定干扰
不受其他因素影响，公正性强
测试的考核目标
产品的正常上市
上市与挑错互相博弈保证产品质量
测试所起的作用
测试可以发现部分问题，但不能全面把关产品质量
代表客户对产品进行规范、严格甚至是残酷的测试，并对产品质量与市场发布有否决权
H3C的“司法独立”意义就在于，是在原有的产品测试体系之外建立的，独立于各产品线的质量把关部门，代表客户对产品进行规范、严格甚至是残酷的测试，并对产品质量与市场发布有否决权。
当然在获得相关权力的同时，必然也要承担相应的责任。
那就是，对于通过软硬件鉴定测试的产品，如果发生质量问题，鉴定测试机构要负直接责任。
基于“内部第三方测试机构”的定位，软硬件鉴定测试机构有效的激活了H3C整个研发体系，并在客观上进一步促进各部门质量意识的提高和质量问题的改观。
鉴定测试测试机构与开发体系各自独立，又互相制约，通过关系制衡与内部博弈，保证产品质量的稳定表现。
产品上市前的DI值（缺陷数）降至6以下。
第三届中国管理学院奖
创新成果名称：
H3C“三权分立”的产品研发组织架构
以定标准为立法，产品开发为行政，鉴定测试为司法，华三通信以自主创新为使命，研发和测试的内在博弈为魂魄，用“三权分立”的研发架构，不仅驱动组织成员全力投入，更推动到研发不断蜕变，创新不断进化，企业不断崛起。
——《北大商业评论》
产品测试：
全面严格细致的自我把关
只要是具备一定实力的厂商，一定不难在其组织机构中找到对应的职能、岗位和部门。
测试、测试，再测试，是产品在开发过程中不断交织进行、完善产品质量的必由之路。
产品测试属于产品PDT（ProductDevelopmentTeam）团队开宗名义讲得很清楚，产品测试属于产品开发团队，与产品开发人员相互配合，在开发完成后对产品进行初步测试，相当于团队内部检验。
这一检验，是对产品的系统性检验，以检验的完整、细致而著称。
小到产品的每一个模块、每一功能和特性，大到整个产品的整体性能和功能，所有项目都必须验证到，不放过任何一丝细微的可能出现质量问题之处。
PTM流程：
测试标准化、可视化
测试本身已经是一个相对标准化的过程。
而指导这个标准化过程的工具，则是研发每一位测试工程师都熟知的PTM（ProductTestManagement产品测试管理）流程。
PTM流程是以项目管理体系为基础、服务于IPD产品级测试的端到端流程与工作平台。
是IPD流程的一部分。
PTM的建立，通过统一的测试过程管理流程，使产品的测试过程可视、可控。
其主要内容如下：
各司其职
明确测试相关角色及其职责。
如TM（测试经理）和TSE（测试系统工程师）的职责划分，明确了测试和开发互动的流程和规则。
产品测试“四步走”
明确测试阶段划分及各阶段关键活动。
整个测试过程分为：
测试分析与计划、测试设计、测试执行、评估和关闭四个阶段，每个阶段有不同的流程规范和交付件要求。
（磨刀不误砍柴工。
良好的测试设计是后期成功的测试执行的基础。
如同产品开发前期要进行周密的设计一样，测试设计在整个测试工作中所占的比重非常重。
以S12500为例，软件测试分析和设计的时间为5个月，测试执行本身花费的时间为8个月。
）
一步一确认
另外，PTM流程制定了专业端到端产品测试过程管理电子流，所有过程、交付件都需要在电子流中体现。
一个需求从产生到实现必须严格根据公司的IPD-CMM项目管理规范来执行。
每一步流程都有明确的确认标准，相关人员确认后，才能往下一步流程走。
到最后进入测试阶段，要求则更为严格，只要有一个问题，就不能关闭这个流程。
每一步的高质量，才会有高效率，这就是H3C一直强调一次把事情做好，不做反复工作。
目的和效果：
一“低”两“高”
通过统一的测试业务与产品缺陷修复流程，使产品测试和缺陷修复活动达到有序化、规范化和可视化，加强各项活动的可继承性和可重用性，降低研发成本。
通过统一开放的流程平台，为各类测试与缺陷修复活动的实践不断积累经验，为测试技术、缺陷分析与修复技术的研究提供决策方向，促进测试水平的提高。
通过IPD-PTM流程定义的各类质量度量与控制手段，使产品质量评价更全面、更充分，促进产品研发质量不断提高。
知识库建设：
积累与共享
在H3C，技术积累和共享是研发是一直以来的传统，是大家共同提高的重要因素，也是H3C能够快速推出各种新产品和解决方案的重要法宝。
如果说流程规定了“做什么”，使得产品测试的过程成为一个标准化的过程，从而为产品测试的结果提供了很大程度上的保证；那么技术积累和共享则是让测试工程师们了解测试过程中“怎么做”的重要资料。
得益于以PTM流程为首的各种制度的规定，测试工程师们在每次测试执行结束后，会对整体测试过程进行审视和评估，同时会对之前的所有交付件和文档进行积累。
从前期的测试需求分析、到测试设计和策略，再到测试用例，一次次的测试，一项项的积累，最终成就了H3C浩如烟海的测试应用知识宝库。
到目前为止，光是软件测试用例就已经累计了 6271个，测试点26322个，测试脚本2678个，测试文档资料累计积累2116篇，约40万字。
测试人员在学习了这些资料后，能够充分利用成熟技术与共享资源，提高测试水平，增强测试的稳定性。
万项测试
产品测试，分为硬件测试和软件测试，分别对产品的硬件方面的指标和软件特性进行验证。
对于产品测试的全面和严酷，我们可以以一组数据来说明。
一款产品在开发结束后，首先必须要分别经过长达数月的硬件和软件测试，总测试项可能达到上万项。
在这上万次测试的层层锤炼中，无论是一个简单的软件特性，还是整体的功能和性能，都得到了最充分的检验。
在检验中发现问题，由开发人员进行对问题的定位和修改，然后再测试。
闭环的过程成为对产品品质完善的最好保证。
S12500产品测试投入及总测试项
软件测试
硬件测试
人力投入
30多人
5人
时间投入
8个月
7个月
总测试项
8000项
2000多项
S12500在接受SpirentTestCenter满端口测试
内部也“博弈”
除了测试项目的完整性之外，H3C内部会有很多创新性的举措，来提高测试的准确度。
例如，在软件开发中，除了有专门的系统组对于产品开发设计订立各类标准之外，H3C还会设立很多对于质量进行内部把关控制的小组，例如，在软件开发过程中，有一支特殊的小分队——代码鉴定组，它的职责就是负责从微观上去检验代码是否完善。
而这一小组也是独立于各个项目开发组的，因此也能更加公正和严格的去执行鉴定测试任务。
从这个角度来讲，即使在产品开发和测试内部，也就是H3C三权分立体系的行政部门内部，也形成了另一种博弈：
产品开发和产品测试的相互博弈。
上万次的测试发现问题——问题单提交——开发人员进行修改——再次测试。
这是产品在开发过程中必须经历的步骤。
在PDT团队认为产品都已经完全符合要求之后，产品才会被提交给独立的第三方测试机构进行鉴定测试。
接下来，一系列“炼狱”般的鉴定测试正在等待着它们，测试结果将决定产品是否可以上市。
鉴定测试：
第三方“终极关卡”
在H3C质量控制体系中，最有特色、同时最有效的一点，就是独立的鉴定测试。
鉴定测试机构作为公司内部第三方独立测试机构独立于各产品线，代表客户利益对产品质量“精益求精”，所有产品在大规模发布前，必须通过严酷的鉴定测试。
这一严酷和公正，在H3C内部还以绩效考核的形式予以保障：
产品开发和测试的目标是开发更好的产品，而鉴定测试的目标则是要尽可能多的发现产品的问题。
鉴定测试机构，被称为产品开发体系的“终极关卡”，在H3C品质战略体系中发挥着独立、独特的作用。
一流的测试资源
H3C在北京和杭州两地分布建立了大型专业测试实验室，北京测试实验室占地约1500（软件1400+硬件100）平米，是目前业界最大的实验室之一；杭州测试实验室占地约1000（软件650+硬件360）平米。
拥有包括Smartbits、Avalanche、Ax4000、Abacus、N2X、IXIA、VTP、Hostsimulator、各种高端示波器，可编程电源、光信号、POE等等在内的大量当前业界最为先进的测试仪器。
同时，实验室的UPS不间断电源可以保证测试业务不间断持续运行。
在软硬件鉴定测试方面的累计投入已超过两亿元。
如此规模的投入，在国内数据通信设备厂商中是绝无仅有的。
拥有从事鉴定测试的工程师有系统测试工程师一百余名，其中大多数为具有七年以上数据通信产品测试经验的资深专家、通过高级网络工程师认证的专家以及高级测试工程师。
国际合作
鉴定测试机构和国内外的各类测试机构建立了合作关系，比如和领先的测试设备厂商Agilent，Spirent，IXIA，Veriwave等结成了战略合作伙伴，并和业界知名测试机构，如TollyGroup，NetworkTest等多次合作。
通过这种合作和交流，H3C鉴定测试水平得到了大幅的提高、从而和业界最先进的测试水平保持一致。
创新专利
2007、2008两年间，软件鉴定测试方面申报的国家专利就达到了138件；同时，还参与了驻地网验收标准、IPTV测试标准、防火墙测试标准以及IP与多媒体通信技术工作委员会主导的通信设备能耗测试等国家测试标准的制定。
硬件鉴定测试：
千锤百炼出深山
“模拟使用环境”，就是模拟大部分客户常规使用环境，包括客户使用习惯及真实网络应用场景，这样才能最大可能的暴露问题；“严于客户使用环境”，则是在测试时考虑一些非常规使用环境和使用习惯，以验证设备的某些功能和性能，确保万无一失。
例如，业界一般的硬件防护测试时都会有良好接地，但是在行业客户实际应用中，接地情况千差万别。
所以鉴定测试除了常规的接地测试外，也会开展异常测试，即在不接地的情况下的测试，这就极大的考验了产品差模防护设计。
在做浪涌测试时，业界一般只要求测试到500伏。
对于部分有特殊需求产品，例如低端交换机、视讯、监控等安装环境比较恶劣、难以控制的设备，H3C浪涌测试会提高测试等级，至2000—4000伏，提高浪涌防护等级。
以客户需求为导向，这是H3C的核心理念，而在实际工作中，这一理念则化为很多细微的工作：
无论是产品设计和测试时提高防雷、防浪涌等级，还是在各种极端环境下对产品进行极限考验，或者是在光模块的盒子中夹一页“使用须知”，所有这些，都是为了客户需求而做的“冗余”但不“多余”的工作。
硬件鉴定部分，除了关注设计导致的缺陷，也关注器件、工艺、结构等方面的缺陷。
产品硬件鉴定测试的主要是由三部分组成：
系统测试、可靠性测试和生产试制鉴定。
1.系统测试：
立足客户应用和产品规格的黑盒测试
硬件鉴定的系统测试，是“白盒”测试和“黑盒”测试的结合体，但是以黑盒测试为主。
因为产品鉴定测试与产品测试的一个很大区别在于，鉴定部门此时代表的客户利益，所以它主要立足于对客户应用的模拟，关注产品功能是否能实现、性能是否如宣称的那样。
在系统测试阶段，产品将经历从接口层（即端口类）、到功能与性能（包括单板和整机的功能和性能的实现），到应用层（主要关注客户使用真实场景），再到用户层（关注用户使用习惯等外在）的全方位测试。
在15个工作日的时间内，硬件鉴定部门将严格按照规范和设计，通过加大各种应力，在短时间内营造如温度、湿度、震动、电压变化等各方面压力，从而加快产品问题暴露，对产品各方面情况进行验证。
黑盒测试
把产品作为一个“黑盒”，看不见内部工作过程，站在客户使用的角度，通过测试来检测每个功能性能等是否都能达到。
黑盒测试则立足于产品整体功能、性能的实现。
白盒测试
已知产品的内部工作过程，通过测试验证其内部工作过程有无问题。
白盒测试是产品测试中最常用、最基本的，产品在形成过程中，每一个功能实现、每一个部件都必须进行白盒测试，直到确认其完全符合要求。
（1）业务应力测试
业务应力测试，顾名思义，就是将设备放至正常业务应力下工作，在此过程中测试设备本身的功能、性能等。
是鉴定测试里最重要的部分。
在通常的测试过程中，该测试会根据设备实际工作情况进行组网配置，并且要达到设备规格的上限，运行100%的业务量。
例如，哪种组网配置对于芯片的考验更大就采用哪种配置。
如果产品支持线速，那在实际测试中就一定要做全线速测试，做到100%流量测试，而系统不能有数据丢失，不能有故障。
通过对于设备实际运行环境中，最大业务流量的残酷考验，充分验证设备的各方面性能。
（2）电源应力测试
电源应力测试是模拟产品在现实工作中可能碰到的各种由电源问题带来的对产品使用造成的影响。
如电源热插拔。
在冗余备份电源的系统上配置满负荷业务，反复插拔其中一个系统电源，在插拔时观察业务是否正常等。
再比如电压拉偏测试，不仅要测试电源常用工作范围，而且还会遍及电源标称的整个范围。
例如，某电源宣称其支持的电压是90-264伏，常压220伏，测试时就会对90伏和264伏分别做测试。
这种拉偏测试不仅能验证电源模块设备本身，更能很好的验证设备在异常电压情况下的状况。
（3）兼容性测试
也是系统测试的重要组成部分。
众所周知，设备在运行环境非常复杂，因此设备在运行时，如果对组成设备的组件（如结构件、电子元器件、软件版本、逻辑版本或硬件版本等）作出规格内的变更或替换，不能导致整机或模块低于预期性能。
在实际测试中，会通过反复插拔等方式，造成设备运行的不正常状态，观察其是否仍能正常工作，保证产品在非正常状态下的性能。
2．可靠性测试：
“钢铁”是这样练成的
可靠性实验室环境、安规和电磁兼容（EMC）的五十多项测试，是产品通过鉴定测试必须要经过的又一难关。
经过重重考验的产品，最终会练就一身“钢筋铁骨”。
（1）环境实验——模拟恶劣使用环境，让产品缺陷快速现身
环境实验主要是为了验证产品设计在环境适应性方面是否达到了规定的可靠性要求。
HALT试验
高低温试验
Ø 气候类环境实验
温度、湿度以及温变对于设备的运行情况影响极大。
可靠性实验室将对产品进行高温工作、低温工作、交变湿热等温度应力测试，充分考验设备的性能。
如交变湿热是在95%的湿度情况下、在25摄氏度至55摄氏度之间温度来回变换……只有通过温度、湿度以及温变等气候类环境试验的考验，才能认为是合格产品最终呈现给客户。
Ø 机械类环境试验
跌落实验是验证包装件承受垂直冲击的能力和包装对内装物的保护能力。
在这里，产品需要在跌落实验室经受被高高吊起、再重重地摔在地上的考验。
一个体型稍大的交换机，从半空中跌落的时候，至少需要“三棱、三面和一角”各跌落一次，才算完成整个跌落的考验。
除了跌落之外，设备还将承受冲击、震动等机械类环境试验，充分考验包装件对设备的保护能力。
（2）EMC实验——辐射发射、浪涌、静电放电 一个都不能少
EMC实验主要通过精确测试、检测产品的电磁辐射和电磁敏感度，确保产品既不会受到周围电磁环境的影响，也不会对周
升级会员 