JMP试验设计要点.docx

1、JMP试验设计要点JMP试验设计试验设计方法及其在国内的应用随着改革开放的深入，以市场经济为代表的西方先进文明及其方法论越来越多被国内企业界所接纳。在质量管理、产品（医药，化工产品，食品，高科技产品，国防等）研发、流程改进等领域，统计方法越来越多成为企业运营的标准配置。 试验设计作为质量管理领域相对复杂、高级的统计方法应用，也开始在国内被逐渐接受，推广。其实试验设计对于我国学术界来说并不陌生。比如均匀设计，均匀设计是中国统计学家方开泰教授(下图左)和中科院院士王元首创，是处理多因素多水平试验设计的卓有成效的试验技术，可用较少的试验次数，完成复杂的科研课题开发和研究。国内一些大学的数学系和统计系

2、近年来已经逐渐开始开设专门的试验设计课程，比如清华大学，电子科技大学、复旦大学等高校。 国内一些行业领先的企业，比如中石化，华为科技，中石油，宝钢等企业，也开始在质量管理和产品研发、工艺改进等领域采用DOE方法。 尽管DOE越来越多的被国内产、学、研领域所接受，但是我们还是看到，国内对于DOE的研究和推广仍旧停留在比较浅的层次。 以上述企业为例，中石化下属的石化科学研究院和上海石化研究院应该是我国石油化工研究领域的王牌单位了，不过不管是北京的石科院，还是上海石化研究院，在油品研发、工艺改进、质量管理等领域，对于DOE的使用还仅仅停留在部分因子和正交设计层面。笔者在网络上查询到电子科技大学的DO

3、E课程目录如下：教材目录： 第一章 正交试验基本方法 第二章 正交试验结果的统计分析方差分析法 第三章 多指标问题及正交表在试验设计中的灵活运用 第四章 Ltu(tq)型正交表的构造 第五章 2k和3k因子设计 第六章 优选法基础 第七章 回归分析法 第八章 正交多项式回归设计 第九章 均匀设计法 第十章 单纯形优化法 第十一章 鲍威尔优化法及应用 第十二章 三次设计 第十三章 稳定性设计 目前业界常用的高端试验设计方法比如定制设计，筛选设计，空间填充设计等高级试验设计方法（Advanced DOE），无论在国内的统计教学、科研还是在产业界的应用，都还比较少见，但已有逐步扩大趋势。西方企业对于

4、DOE的应用早已大规模开始，比如美国航天、航空设计的顶尖单位，乔治亚宇航设计中心，在开发导弹、战斗机等美国绝密武器系统的时候，无一例外的使用了定制设计（Customer Design）。在民用领域，比如INTEL，惠普，苹果等公司在产品研发和质量提升阶段，都使用了高级试验设计方法。按照试验设计(DOE)方法发展的历程和应用的先后，我们简单介绍一下什么是高级试验设计方法，以及和其相对应的传统试验设计方法。如下图所示，传统DOE包括部分因子设计、完全因子设计、响应面设计、扩充设计，混料设计和田口设计。与此对应，高级DOE则主要包括空间填充，非线性和定制设计等。目前能够实现DOE(试验设计)的专业软

5、件工具不多，其中最权威的当属来自全球最大的统计软件供应商SAS集团旗下的桌面统计分析软件JMP。首先，JMP的DOE内容最为完整，除了包括部分因子、完全因子、响应面设计、扩充设计，混料设计和田口设计等传统DOE外，还包括空间填充，非线性和定制设计等高级DOE。其次，JMP的DOE功能最为强大，除了整合传统的统计建模,图形展示等分析方法外，还融入了模拟，I最佳与D最佳比较，简单数据挖掘等独特方法强化分析效果。再次，JMP的DOE实现最为方便，因子的数量，水平的数量，试验的次数等等都可以自定义，用户能够根据实际问题的要求构建试验，而无需任何修饰。更进一步，JMP的试验设计中还整合了模拟器(Simu

6、lator)功能，用户可以直接对试验所得的新方案进行仿真模拟，以最大限度地减少失败风险。介绍传统DOE的资料比较多，在此不再赘述，笔者还是将笔墨集中在更高效的高级DOE上。首先介绍一下空间填充设计(Space Filling Design)，它适合于不存在随机误差，但强调控制系统偏差的试验场合。众所周知，随机化(Randomization)、区组化(Blocking)和仿行(Replication)这三大理念是我们在做常规试验设计时反复强调的基本原则，但是当对随机误差的关注远远小于对模型本身的关注时，强调以上三条原则将不能最充分地利用可用资源。这时我们应当关注系统偏差，即近似模型与真实数学函数

7、之差异。空间填充设计的目标就是限制系统偏差。系统偏差的大小与试验点的代表性密切相关，通过球填充设计、均匀设计和最低潜能等方法，空间填充设计的试验方案能获得最佳的覆盖面，从而为获得信息量最丰富的试验结果数据以提供决策支持奠定基础。其次，再来说一说非线性设计，它适用于需要高精度地构建参数为非线性的模型。在某些工程技术和社会科学的试验设计领域中，常常会遇到非线性模型的研究问题，由于非线分析的复杂性和特殊性，很多人会采用多项式模型近似描述，简化问题。但是当我们对模型应用的要求较高时，上述的处理方法就显得力不从心了。其实，关于非线性设计与建模的理论已经逐渐成熟，通过牛顿迭代法等技术允许用户生成非线性最优

8、设计和最优扩充数据，从而拟合参数为非线性的模型。与标准的多项式模型相比，用此类模型描述相应流程时，能够产生更为精确的流程行为预测，也即模型与实际问题的符合性更好。最值得一提的还是定制设计，它灵活便捷的设计风格和通用一致的分析模式使众多对传统DOE领域屡战屡败的人眼前一亮，信心大增。对一般的非统计专业人士来说，单单听到响应面、混料、拉丁超立方等一大堆专业名词就已经如坠云雾了，后面的分析报表就更如天书一般，这样的情形不由得让人对试验设计望而却步, 试验设计用最通俗易懂的语言还原试验设计的本质，只要定义了你所研究产品或过程的输入因素和输出响应、目前的试验预算有多少，分析的重点和目的在哪里，定制设计生

9、成器就会设计出最符合你要求的试验计划。再加上实际的试验数据，具体的分析结果，如模型公式、最佳水平组合等，就生动形象地展现在你的面前了。它突破了传统DOE“规则呆板，专业性强”的限制，被许多欧美企业的工程师亲切地称为“能够量体裁衣的DOE”。我们举一个简单的例子来体会一下定制设计的独特魅力。例如，在一次市场研究的试验设计中，您想了解目标客户的心理偏好。其中的功能因子水平包括最差(1)、中等(2) 和最佳(3)，而价格因子水平包括高(1)、中(2) 和低(3)。根据排列组合的方法共可能有9次水平组合，但实际上在这个例子中公司可能并不愿意在市场上以最低的价格出售最佳性能的产品，因此您需要在制订试验计

10、划时，就排除功能中的最佳(3)和价格中的低(3)这一组合。这时，传统的DOE（无论是全因子设计，还是部分因子设计等）都无法实现自定义的因子水平约束，由此生成的试验计划缺少现实意义，由此产成的分析结果缺少可信度，而定制设计可以提供拒绝特定因子水平组合的灵活性，巧妙地解决了这类长期困扰DOE用户的难题。以上方法都可以通过专业软件JMP实现，从而进一步提高使用DOE的工作效率，有兴趣的读者不妨一试。试验设计(DOE)就在你身边试验设计(DOE)就在你身边DOE，即试验设计(Design Of Experiment)，是研究和处理多因子与响应变量关系的一种科学方法。它通过合理地挑选试验条件，安排试验，

11、并通过对试验数据的分析，从而找出总体最优的改进方案。从上个世纪20年代费雪(Ronald Fisher)在农业试验中首次提出DOE的概念，到六西格玛管理在世界范围内的蓬勃发展，DOE已经历了80多年的发展历程，在学术界和企业界均获得了崇高的声誉。然而，由于专业统计分析的复杂性和各个行业的差异性，DOE在很多人眼中逐渐演变为可望而不可及的空中楼阁。其实，DOE绝不是少数统计学家的专属工具，它很容易成为各类工程技术人员的好朋友、好帮手。本文将以一个日常生活中的小案例为线索，结合操作便捷的专业统计分析软件JMP，帮助大家揭开DOE的神秘面纱，了解DOE的执行过程，自由地建立属于自我的DOE空间。案例

12、场景：相信大家都吃过爆米花，但是大家是否都了解爆米花的制作过程？在品尝爆米花的时候，不知道您是否注意到有很多爆米花没有爆开，也有很多被爆焦。这两种情况都是生产过程中的质量缺陷。 这里，我们基于六西格玛软件JMP来实现我们的目标：寻找使用微波炉加工一包爆玉米花的更佳程序。凭借经验，我们很容易就能确定重要因子的合理范围： 加工爆玉米花的时间（介于 3 至 5 分钟之间） 微波炉使用的火力（介于 5 至 10 档之间） 使用的玉米品牌（A 或 B） 在爆玉米花时，我们希望所有（或几乎所有）的玉米粒都爆开了，没有（或很少）玉米粒未爆开。因此 玉米的“爆开个数”是最终关注的重点。第 1 步：定义响应和因

13、子第2步：定义因子约束根据经验，你知道：不能在试验中长时间高火力加工爆玉米花，因为这样会烧焦某些玉米粒。不能在试验中短时间低火力加工爆玉米花，因为这样只有少数玉米粒爆开。所以要限制试验，以使加工时间加上微波炉火力小于等于 13，但大于等于 10。第3步：添加交互作用项我们可以推测：与爆开玉米比例相关的任意因子效应可能取决于某些其它因子的值。例如，品牌A时间变化的效应可能大于或小于使用品牌B相同时间变化的效应。这种因子表现出的协同效应统称为二因子交互作用。我们决定在爆玉米花加工过程的先验模型中纳入所有可能的二因子交互作用。第 4 步：确定试验次数根据在模型中添加的效应，执行试验需要一定的试验次数

14、。我们可以使用最小值、建议值，也可以指定试验次数，只要其值大于最小值。本例中，我们将使用默认的试验次数 16。第 5 步：制定定输出表格生成的数据表保留了随机化的特性，显示了我们应该运行试验的顺序，首先在7级火力下将第一包B牌的玉米加工 3 分钟，然后在5级火力下将B牌玉米加工5分钟，依次进行。第6步：收集和输入数据根据设计方案加工爆玉米花。然后，计算每包中爆开的玉米粒的数量。最后，保存结果至数据表。第7步：分析结果可以构建数据模型了，一般使用最常见的分析方法最小二乘法，但是如果响应数据明显不呈正态分布时，选择广义线形模型法会显得更为合适。简要地查看输出报告中的“参数估计”表，发现所有的 p

15、值都小于 0.05，表明所有的模型效应，包括一次主因子作用、二次主因子作用和双因子交互作用，均是显著的。我们已确认时间、火力以及品牌与爆开玉米粒个数之间存在着紧密关系，要进行进一步研究，可以打开“预测刻画器”，分析因子组合的变化如何影响爆开玉米粒的个数。预测刻画器显示了每个因子对响应的预测轨迹，移动红色虚线，便能查看更改因子值对响应产生的影响。例如，单击“时间”图中的红线并左右拖动，当“时间”值从3转移至5时，“爆开个数”也在发生相应得变化。同时，随着时间的增加和减少，时间和火力预测轨迹的斜率也随之改变，表明确实存在时间和火力的交互效应。最后，还可以通过“预测刻画器”寻找出最优设置，即最合意的

16、设置。我们根据试验分析结果而推荐的方法是：使用A品牌，加工5分钟，并将火力调为6.96级。试验预测在此种设置下加工，产出的玉米粒445个以上都爆开了。 类似这种爆玉米花的案例在我们的生活和工作中还有很多很多，有兴趣的读者完全可以将平时遇到的问题抽象成一个DOE模型，然后借助JMP这样的专业统计分析软件，轻轻松松地得到问题的解决方案。初识试验设计(DOE)其实，DOE对中国人来说，也不是一个完全崭新的内容。早在新中国成立初期，华罗庚教授就在我国农业、工业领域大力倡导与普及DOE，只是当时他运用的是另一个名词优选法。七十年代末，方开泰教授和王元院士又提出了著名的“均匀设计”法，这一方法在我国航空航

17、天事业中的导弹设计中取得了巨大成效。与此同时，“均匀设计”法也在全球研究DOE理论的学术界得到了高度赞誉。但是，在将DOE的先进理念和科技方法向各行各业转移，向一般技术人员转移，并转换为高效生产力的道路上，我们的进展还很有限。通过“DOE系列之一”我们已经知道：DOE与人们的生活及工作密切相关，在专业六西格玛统计分析软件JMP的帮助下，掌握DOE也不再是一件难事。从本质上讲，DOE是这样一门科学：研究如何以最有效的方式安排试验，通过对试验结果的分析以获取最大信息。所以，DOE有两大技术支柱：试验规划和分析方法。其中，试验规划又可以分为均分设计、因子设计、响应面设计等，分析方法又可以分为极差分析

18、、方差分析、多元回归分析等。虽然DOE的理论体系中涉及统计分析的专业词汇很多，但为便于读者理解，本文包括后续的系列文章将尽量避免过多地涉及统计分析的基本概念，而是将以“解决问题的思路”为导向，由浅入深地向读者介绍DOE的理论体系和应用过程。另外，感谢当代高速发展的计算机技术，我们可以借助六西格玛统计分析软件JMP来实现上述所有的试验设计方案，顺便提一下，JMP是目前唯一能实现上述所有试验设计方案的六西格玛统计分析软件，而且已经面向大中华地区推出中英文双语版软件。一般的实际问题都是纷繁复杂、千变万化的，但是透过现象看本质，所有实际问题的共同点也可以通过统一的模型来抽象概括。图一就是一个高度简化的

19、过程模型，其中，是我们关心的输出变量，例如质量指标、生产能力和成本等，通常被称为“响应变量”（Response）；， ，是我们在工作中可以加以控制的输入变量，例如人员、设备、原材料、操作方法和环境等，通常被称为“可控因子”（Factor），它们可以是连续型数据，也可以是离散型数据；中间的“黑匣子”是“过程”（Process），在前两者之间起着衔接转换的作用，它与不同行业、不同产品、不同技术密切相关，但整体都可以用的数学模型来表示。这个数学模型的具体表达式越精准，说明我们对这个过程的理解越深刻，DOE就是协助我们揭示或验证数学模型表达式的利器！图一 过程模型在某些要求不高的工作环境中，往往不需要

20、用一个复杂的数学表达式来描述过程的全貌，但至少要了解哪个或哪几个因子（X）对响应（Y）的影响显著，哪些因子之间存在着相互影响的关系等。这时，“主因子作用”（Main Effect）和“交互作用”（Interaction）可以帮助我们回答这些问题。在此，不强调具体的计算过程，主要以视觉效果阐述主要概念。主因子作用是指一个因子在不同水平下的变化导致响应的平均变化量。正如图二所示，X在-1和+1两个水平下Y值的落差反映的就是主因子作用。交互作用是指当其他因子的水平改变时，一个因子的主因子作用的平均变化量。正如图三所示，左半部分的因子A对Y的影响没有受因子B的变化而变化，两组A与Y的回归直线完全平行，

21、表明因子A与B之间没有任何交互作用；反之，右半部分的因子A对Y的影响受因子B的变化而变化，两组A与Y的回归直线明显相交，表明因子A与B之间存在显著的交互作用。图二 主因子作用示意图图三 交互作用示意图秉承“理论联系实际”的原则，接下来我们用一个真实的案例来说明上述原理的实际意义。案例场景一位工程师希望通过减小厚度来改善涡轮叶片质量，首先他想定量地研究在相关的生产过程中，三个最有可能会影响厚度的变量：铸造温度(Mold Temp)、浇注时间(Mold Time)和放置时间(Set Time)。根据DOE理论中最简单的“完全因子设计”，工程师决定开展一个“三因子，两水平，共八次”的现场试验。试验方

22、案和最终结果如表一所示，试通过主因子作用和交互作用进行分析。表一 涡轮叶片厚度试验记录铸造温度(C)浇铸时间(S)放置时间(M)厚度(mm)300113.61350113.77300316.75350313.72300123.34350123.24300337.01350334.14 相关的统计计算可以借助专业六西格玛统计分析软件MP轻松实现，在此不一一详述，重点用形象直观的图形说明分析结果。图四 各因子的主因子作用图五 各因子间的交互作用由图四可知，铸造温度和浇铸时间对涡轮叶片的厚度有比较显著的影响，而放置时间则几乎没有任何影响。由图五可知，铸造温度与浇铸时间之间、放置时间与浇铸时间之间的交

23、互作用比较明显，而铸造温度与放置时间之间的交互作用则几乎为零。通过上述可视化的分析过程，我们清楚地理解了该过程中铸造温度和浇铸时间的正确设置对最终产品质量的重要性。当然以上只是有关DOE的一个最基础的应用，笔者会在下期文章中进一步与大家交流更深层次的内容。多因子试验设计(DOE)的魅力多因子试验设计(DOE)的魅力通过前面的介绍，我们已经初步认识到了DOE的强大分析功能。但是有的读者可能会不以为然：在此之前的两个案例中因子的数量太少（只有3个），而实际需要解决的问题会复杂得多，涉及的因子数量也可能会很多（至少有6个）。因此，他就可能会得出一个结论：DOE只适合于少数因子的问题分析，至于处理多因

24、子问题，则显得无能为力了。这个结论显然有失偏颇，其实DOE的一大特点就是可以处理包含多达50个（并不限于50个）因子的复杂问题，本期的主要内容就是向读者介绍多因子DOE的方法。从理论上讲，上一期的DOE案例实质上采用的是完全因子设计（Full Factorial Design），这类方法在因子数量较少的时候实施起来比较方便。但是正如表一所示，当试验中的因子数量逐步增加时，试验次数却呈指数增加，庞大的试验规模意味着巨额的试验费用，意味着实施DOE的可行性越来越小。表一 完全因子DOE的局限因子数量试验次数2438416532664712882569512101024为了解决这个矛盾，我们可以用一

25、种更具魅力的方法部分因子设计（Fractional Factorial Design）来替代一般的完全因子设计。顾名思义，部分因子设计源于完全因子设计，是与其对应的完全因子设计中的一部分。但究竟是哪一部分，是否可以随机选取？举一个简单的例子来说明。表二显示的是一个完全因子设计的计划表，A、B和C表示三个主因子，+1和-1表示因子的两个不同水平，AB、AC和BC表示二阶交互作用，ABC表示三阶交互作用，总共需要做8次不同的水平组合来完成1次完全因子设计的计划。表二 3因子的完全因子设计计划表RunABCABACBCABC1-1-1-1111-121-1-1-1-1113-11-1-11-1141

26、1-11-1-1-15-1-111-1-1161-11-11-1-17-111-1-11-181111111以上这个试验计划适用于3个或以下因子，可支持8次试验运行的DOE。如果增加了第四个因子D，但依然只能支持8次试验运行时，我们应该怎么办呢？原来表二中的计划表有 8行7列，任意两列间是相互正交的。我们希望增加一列来安排因子D，而且希望此列仍然能与前面各列保持正交性。数学上可以证明，“找出一个与前 7 列不同的列而与前3 列保持正交”是不可能的。换句话说，D 列必须与第4、5、6、7列中的某列完全相同。完全相同意味着这两列的效应会被“混杂”（Confounded)，即获得计算所得的分析结果后

27、，分不清两种效应各是多少。权衡之下，我们认为取D=ABC 是最好的安排，因为通常主因子作用与三阶交互作用混杂的可能性最小。根据上述决定，将D列取值设定与ABC列相同，并将其前移至第 4 列，可以得到表三所列的计划表表三4因子的部分因子设计计划表RunABCDABACBCABC(=D)1-1-1-1-1111-121-1-11-1-1113-11-11-11-11411-1-11-1-1-15-1-1111-1-1161-11-1-11-1-17-111-1-1-11-1811111111聪明的读者一定会猜到还可以使用图二的计划表继续构建出第5、第6乃至第7个因子，但试验的规模依然保留在8次。当

28、然，当同等规模的试验中所涉及的因子数量越多时，产生“混杂”的概率会越大，后期分析结果的精确程度也会有所降低。这就是试验成本与分析精度这对矛盾的平衡，也是“部分因子设计”产生的基本原理。值得一提的是，在制定部分因子设计的具体方案时，不必如此繁琐地逐一推算，成熟的六西格玛统计分析软件JMP早已能够自动地实现了这一功能。下面我们想通过一个发生在国外的DOE案例来体会部分因子设计的实际意义。案例场景 :ACB公司是一家网络公司，主要为个人用户提供服务。近阶段以来公司网站的点击数总体偏低，排名在同行业中持续下滑，高层管理层决定通过一个DOE项目找到少数几个关键因素，提高公司网站的每周访问量。经过初步分析

29、，项目团队发现关键词的个数、关键词的类型、URL标题、每周的更新频率、关键词在标题中的位置和免费礼物是最具可能性的关键因子。但是如果按传统的完全因子设计的思路，至少要做26=64次试验，项目的时间跨度超过一年，分析结果的价值性大大降低，有什么好办法来克服这个困难呢？实施：显然，这个案例用部分因子设计的DOE来实现是再合适不过了。针对已知的6个关键因子，各取两个最具代表性的水平值，鉴于该项目的主要目的是寻找关键因子，选择筛选效率最高的设计方案26-3（=8），不同水平组合时分别运行1周，八周后统计相应的点击数量，结果如表四所示。表四 DOE实施记录URL标题关键词的个数关键词的类型每周的更新频率

30、关键词在标题中的位置免费礼物点击数短5旧4第70个字符有5083长5旧1第40个字符有2272短10旧1第70个字符无2012长10旧4第40个字符无4328短5新4第40个字符无6359长5新1第70个字符无3676短10新1第40个字符有4779长10新4第70个字符有6549接着，专业六西格玛统计分析软件JMP可以帮助我们做出具体的定性和定量的分析，不仅如此，它还等借助丰富生动的图形甚至动画将分析结果展现给我们。在此笔者不想强调过多的统计概念，只想用形象直观的图形说明分析结果。图一 主因子作用的Pareto图图二 主因子作用的正态性图 无论是从图一的Pareto图，还是从图二的正态性图，我们都能清晰地发现每周的更新频率和关键词的类型是影响点击数的关键因子。由此可见，在部分因子设计的思想指引下，多因子试验的时间成本、经济成本大大减少，而主要的分析目的没有受到丝毫的影响，多因子DOE的魅力正吸引着更多的