揭开DOE的神秘面纱.docx
《揭开DOE的神秘面纱.docx》由会员分享，可在线阅读，更多相关《揭开DOE的神秘面纱.docx（32页珍藏版）》请在冰豆网上搜索。
揭开DOE的神秘面纱
揭开DOE（试验设计）的神秘面纱之一--DOE就在你身边
DOE，即试验设计（DesignOfExperiment），是研究和处理多因子与响应变量关系的一种科学方法。
它通过合理地挑选试验条件，安排试验，并通过对试验数据的分析，从而找出总体最优的改进方案。
从上个世纪20年代费雪（RonaldFisher）在农业试验中首次提出DOE的概念，到六西格玛管理在世界范围内的蓬勃发展，DOE已经历了80多年的发展历程，在学术界和企业界均获得了崇高的声誉。
然而，由于专业统计分析的复杂性和各行各业的差异性，DOE在很多人眼中逐渐演变为可望而不可及的空中楼阁。
其实，DOE绝不是少数统计学家的专属工具，它很容易成为各类工程技术人员的好朋友、好帮手。
本文将以一个日常生活中的小案例为线索，结合操作便捷的专业统计分析软件JMP，帮助大家揭开DOE的神秘面纱，了解DOE的执行过程，自由自在地建立属于自我的DOE空间。
场景:
相信大家都吃过爆米花，但是大家是否都了解爆米花的制作过程？
在品尝爆米花的时候，不知道您是否注意到有很多爆米花没有爆开，也有很多被爆焦。
这两种情况都是生产过程中的质量缺陷。
这里，我们基于六西格玛软件JMP来实现我们的目标：
寻找使用微波炉加工一包爆玉米花的更佳程序。
凭借经验，我们很容易就能确定重要因子的合理范围：
加工爆玉米花的时间（介于3至5分钟之间）
微波炉使用的火力（介于5至10档之间）
使用的玉米品牌（A或B）
在爆玉米花时，我们希望所有（或几乎所有）的玉米粒都爆开了，没有（或很少）玉米粒未爆开。
因此玉米的"爆开个数"是最终关注的重点。
第1步：
定义响应和因子（如图一所示）
图一 定义响应和因子
第2步：
定义因子约束（如图二所示）
根据经验，你知道：
不能在试验中长时间高火力加工爆玉米花，因为这样会烧焦某些玉米粒。
不能在试验中短时间低火力加工爆玉米花，因为这样只有少数玉米粒爆开。
所以要限制试验，以使加工时间加上微波炉火力小于等于13，但大于等于10。
图二 定义因子约束
第3步：
添加交互作用项（如图三所示）
我们可以推测：
与爆开玉米比例相关的任意因子效应可能取决于某些其它因子的值。
例如，品牌A时间变化的效应可能大于或小于使用品牌B相同时间变化的效应。
这种因子表现出的协同效应统称为二因子交互作用。
我们决定在爆玉米花加工过程的先验模型中纳入所有可能的二因子交互作用。
图三 添加交互作用项
第4步：
确定试验次数（如图四所示）
根据在模型中添加的效应，执行试验需要一定的试验次数。
我们可以使用最小值、建议值，也可以指定试验次数，只要其值大于最小值。
本例中，我们将使用默认的试验次数16。
图四 确定试验次数
第5步：
指定输出表格（如图五所示）
生成的数据表保留了随机化的特性，显示了我们应该运行试验的顺序，首先在7级火力下将第一包B牌的玉米加工3分钟，然后在5级火力下将B牌玉米加工5分钟，依次进行。
图五 指定输出表格
第6步：
收集和输入数据（如图六所示）
根据设计方案加工爆玉米花。
然后，计算每包中爆开的玉米粒的数量。
最后，保存结果至数据表。
图六 收集和输入数据
第7步：
分析结果（如图七所示）
可以构建数据模型了，一般使用最常见的分析方法--最小二乘法，但是如果响应数据明显不呈正态分布时，选择广义线形模型法会显得更为合适。
图七 分析结果
简要地查看输出报告中的"参数估计"表，发现所有的p值都小于0.05，表明所有的模型效应，包括一次主因子作用、二次主因子作用和双因子交互作用，均是显著的。
我们已确认时间、火力以及品牌与爆开玉米粒个数之间存在着紧密关系，要进行进一步研究，可以打开"预测刻画器"，分析因子组合的变化如何影响爆开玉米粒的个数。
预测刻画器显示了每个因子对响应的预测轨迹，移动红色虚线，便能查看更改因子值对响应产生的影响。
例如，单击"时间"图中的红线并左右拖动，当"时间"值从3转移至5时，"爆开个数"也在发生相应得变化。
同时，随着时间的增加和减少，时间和火力预测轨迹的斜率也随之改变，表明确实存在时间和火力的交互效应。
最后，还可以通过"预测刻画器"寻找出最优设置，即最合意的设置。
我们根据试验分析结果而推荐的方法是：
使用A品牌，加工5分钟，并将火力调为6.96级。
试验预测在此种设置下加工，产出的玉米粒445个以上都爆开了。
类似这种爆玉米花的案例在我们的生活和工作中还有很多很多，有兴趣的读者完全可以将平时遇到的问题抽象成一个DOE模型，然后借助JMP这样的专业统计分析软件，轻轻松松地得到问题的解决方案。
有关DOE的更加深入的理论和应用，笔者会在今后的文章中继续与大家交流。
揭开DOE（试验设计）的神秘面纱之二--初识DOE
其实，DOE对中国人来说，也不是一个完全崭新的内容。
早在新中国成立初期，华罗庚教授就在我国农业、工业领域大力倡导与普及DOE，只是当时他运用的是另一个名词--优选法。
七十年代末，方开泰教授和王元院士又提出了著名的"均匀设计"法，这一方法在我国航空航天事业中的导弹设计中取得了巨大成效。
与此同时，"均匀设计"法也在全球研究DOE理论的学术界得到了高度赞誉。
但是，在将DOE的先进理念和科技方法向各行各业转移，向一般技术人员转移，并转换为高效生产力的道路上，我们的进展还很有限。
通过"DOE系列之一"我们已经知道：
DOE与人们的生活及工作密切相关，在专业六西格玛统计分析软件JMP的帮助下，掌握DOE也不再是一件难事。
从本质上讲，DOE是这样一门科学：
研究如何以最有效的方式安排试验，通过对试验结果的分析以获取最大信息。
所以，DOE有两大技术支柱：
试验规划和分析方法。
其中，试验规划又可以分为均分设计、因子设计、响应面设计等，分析方法又可以分为极差分析、方差分析、多元回归分析等。
虽然DOE的理论体系中涉及统计分析的专业词汇很多，但为便于读者理解，本文包括后续的系列文章将尽量避免过多地涉及统计分析的基本概念，而是将以"解决问题的思路"为导向，由浅入深地向读者介绍DOE的理论体系和应用过程。
另外，感谢当代高速发展的计算机技术，我们可以借助六西格玛统计分析软件JMP来实现上述所有的试验设计方案，顺便提一下，JMP是目前唯一能实现上述所有试验设计方案的六西格玛统计分析软件，而且已经面向大中华地区推出中英文双语版软件。
一般的实际问题都是纷繁复杂、千变万化的，但是透过现象看本质，所有实际问题的共同点也可以通过统一的模抽象概括。
图一就是一个高度简化的过程模型，其中Ｙ１，Ｙ２，…是我们关心的输出变量，例如质量指标、生产能力和成本等，通常被称为"响应变量"（Response）；Ｘ１，Ｘ２ ，…，是我们在工作中可以加以控制的输入变量，例如人员、设备、原材料、操作方法和环境等，通常被称为"可控因子"（Factor），它们可以是连续型数据，也可以是离散型数据；中间的"黑匣子"是"过程"（Process），在前两者之间起着衔接转换的作用，它与不同行业、不同产品、不同技术密切相关，但整体都可以用的数学模型来表示。
这个数学模型的具体表达式越精准，说明我们对这个过程的理解越深刻，DOE就是协助我们揭示或验证数学模型表达式的利器！
在某些要求不高的工作环境中，往往不需要用一个复杂的数学表达式来描述过程的全貌，但至少要了解哪个或哪几个因子（X）对响应（Y）的影响显著，哪些因子之间存在着相互影响的关系等。
这时，"主因子作用"（MainEffect）和"交互作用"（Interaction）可以帮助我们回答这些问题。
在此，不强调具体的计算过程，主要以视觉效果阐述主要概念。
主因子作用是指一个因子在不同水平下的变化导致响应的平均变化量。
正如图二所示，X在-1和+1两个水平下Y值的落差反映的就是主因子作用。
交互作用是指当其他因子的水平改变时，一个因子的主因子作用的平均变化量。
正如图三所示，左半部分的因子A对Y的影响没有受因子B的变化而变化，两组A与Y的回归直线完全平行，表明因子A与B之间没有任何交互作用；反之，右半部分的因子A对Y的影响受因子B的变化而变化，两组A与Y的回归直线明显相交，表明因子A与B之间存在显著的交互作用
图三
秉承"理论联系实际"的原则，接下来我们用一个真实的案例来说明上述原理的实际意义。
场景:
一位工程师希望通过减小厚度来改善涡轮叶片质量，首先他想定量地研究在相关的生产过程中，三个最有可能会影响厚度的变量：
铸造温度（MoldTemp）、浇注时间（MoldTime）和放置时间（SetTime）。
根据DOE理论中最简单的"完全因子设计"，工程师决定开展一个"三因子，两水平，共八次"的现场试验。
试验方案和最终结果如表一所示，试通过主因子作用和交互作用进行分析。
铸造温度（C）
浇铸时间（S）
放置时间（M）
厚度（mm）
300
1
1
3.61
350
1
1
3.77
300
3
1
6.75
350
3
1
3.72
300
1
2
3.34
350
1
2
3.24
300
3
2
7.01
350
3
2
4.14
表一
相关的统计计算可以借助专业六西格玛统计分析软件MP轻松实现，在此不一一详述，重点用形象直观的图形说明分析结果。
由图四可知，铸造温度和浇铸时间对涡轮叶片的厚度有比较显著的影响，而放置时间则几乎没有任何影响。
由图五可知，铸造温度与浇铸时间之间、放置时间与浇铸时间之间的交互作用比较明显，而铸造温度与放置时间之间的交互作用则几乎为零。
通过上述可视化的分析过程，我们清楚地理解了该过程中铸造温度和浇铸时间的正确设置对最终产品质量的重要性。
当然以上只是有关DOE的一个最基础的应用，笔者会在下期文章中进一步与大家交流更深层次的内容。
揭开DOE（试验设计）的神秘面纱之三--多因子DOE的魅力
通过前面的介绍，我们已经初步认识到了DOE的强大分析功能。
但是有的读者可能会不以为然：
在此之前的两个案例中因子的数量太少（只有3个），而实际需要解决的问题会复杂得多，涉及的因子数量也可能会很多（至少有6个）。
因此，他就可能会得出一个结论：
DOE只适合于少数因子的问题分析，至于处理多因子问题，则显得无能为力了。
这个结论显然有失偏颇，其实DOE的一大特点就是可以处理包含多达50个（并不限于50个）因子的复杂问题，本期的主要内容就是向读者介绍多因子DOE的方法。
从理论上讲，上一期的DOE案例实质上采用的是完全因子设计（FullFactorialDesign），这类方法在因子数量较少的时候实施起来比较方便。
但是正如表一所示，当试验中的因子数量逐步增加时，试验次数却呈指数增加，庞大的试验规模意味着巨额的试验费用，意味着实施DOE的可行性越来越小。
因子数量
试验次数
2
4
3
8
4
16
5
32
6
64
7
128
8
256
9
512
10
1024
…
…
表一 完全因子DOE的局限
为了解决这个矛盾，我们可以用一种更具魅力的方法——部分因子设计（FractionalFactorialDesign）来替代一般的完全因子设计。
顾名思义，部分因子设计源于完全因子设计，是与其对应的完全因子设计中的一部分。
但究竟是哪一部分，是否可以随机选取？
举一个简单的例子来说明。
表二显示的是一个完全因子设计的计划表，A、B和C表示三个主因子，+1和-1表示因子的两个不同水平，AB、AC和BC表示二阶交互作用，ABC表示三阶交互作用，总共需要做8次不同的水平组合来完成1次完全因子设计的计划。
Run
A
B
C
AB
AC
BC
ABC
1
-1
-1
-1
1
1
1
-1
2
1
-1
-1
-1
-1
1
1
3
-1
1
-1
-1
1
-1
1
4
1
1
-1
1
-1
-1
-1
5
-1
-1
1
1
-1
-1
1
6
1
-1
1
-1
1
-1
-1
7
-1
1
1
-1
-1
1
-1
8
1
1
1
1
1
1
1
表二 3因子的完全因子设计计划表
以上这个试验计划适用于3个或以下因子，可支持8次试验运行的DOE。
如果增加了第四个因子D，但依然只能支持8次试验运行时，我们应该怎么办呢？
原来表二中的计划表有8行7列，任意两列间是相互正交的。
我们希望增加一列来安排因子D，而且希望此列仍然能与前面各列保持正交性。
数学上可以证明，“找出一个与前7列不同的列而与前3列保持正交”是不可能的。
换句话说，D列必须与第4、5、6、7列中的某列完全相同。
完全相同意味着这两列的效应会被“混杂”（Confounded），即获得计算所得的分析结果后，分不清两种效应各是多少。
权衡之下，我们认为取D=ABC是最好的安排，因为通常主因子作用与三阶交互作用混杂的可能性最小。
根据上述决定，将D列取值设定与ABC列相同，并将其前移至第4列，可以得到表三所列的计划表。
Run
A
B
C
D
AB
AC
BC
ABC（=D）
1
-1
-1
-1
-1
1
1
1
-1
2
1
-1
-1
1
-1
-1
1
1
3
-1
1
-1
1
-1
1
-1
1
4
1
1
-1
-1
1
-1
-1
-1
5
-1
-1
1
1
1
-1
-1
1
6
1
-1
1
-1
-1
1
-1
-1
7
-1
1
1
-1
-1
-1
1
-1
8
1
1
1
1
1
1
1
1
表三 4因子的部分因子设计计划表
聪明的读者一定会猜到还可以使用图二的计划表继续构建出第5、第6乃至第7个因子，但试验的规模依然保留在8次。
当然，当同等规模的试验中所涉及的因子数量越多时，产生“混杂”的概率会越大，后期分析结果的精确程度也会有所降低。
这就是试验成本与分析精度这对矛盾的平衡，也是“部分因子设计”产生的基本原理。
值得一提的是，在制定部分因子设计的具体方案时，不必如此繁琐地逐一推算，成熟的六西格玛统计分析软件JMP早已能够自动地实现了这一功能。
下面我们想通过一个发生在国外的DOE案例来体会部分因子设计的实际意义。
场景:
ACB公司是一家网络公司，主要为个人用户提供服务。
近阶段以来公司网站的点击数总体偏低，排名在同行业中持续下滑，高层管理层决定通过一个DOE项目找到少数几个关键因素，提高公司网站的每周访问量。
经过初步分析，项目团队发现关键词的个数、关键词的类型、URL标题、每周的更新频率、关键词在标题中的位置和免费礼物是最具可能性的关键因子。
但是如果按传统的完全因子设计的思路，至少要做26=64次试验，项目的时间跨度超过一年，分析结果的价值性大大降低，有什么好办法来克服这个困难呢？
显然，这个案例用部分因子设计的DOE来实现是再合适不过了。
针对已知的6个关键因子，各取两个最具代表性的水平值，鉴于该项目的主要目的是寻找关键因子，选择筛选效率最高的设计方案26-3（=8），不同水平组合时分别运行1周，八周后统计相应的点击数量，结果如表四所示。
URL标题
关键词的个数
关键词的类型
每周的更新频率
关键词在标题中的位置
免费礼物
点击数
短
5
旧
4
第70个字符
有
5083
长
5
旧
1
第40个字符
有
2272
短
10
旧
1
第70个字符
无
2012
长
10
旧
4
第40个字符
无
4328
短
5
新
4
第40个字符
无
6359
长
5
新
1
第70个字符
无
3676
短
10
新
1
第40个字符
有
4779
长
10
新
4
第70个字符
有
6549
表四 DOE实施记录
接着，专业六西格玛统计分析软件JMP可以帮助我们做出具体的定性和定量的分析，不仅如此，它还等借助丰富生动的图形甚至动画将分析结果展现给我们。
在此笔者不想强调过多的统计概念，只想用形象直观的图形说明分析结果。
无论是从图一的Pareto图，还是从图二的正态性图，我们都能清晰地发现每周的更新频率和关键词的类型是影响点击数的关键因子。
由此可见，在部分因子设计的思想指引下，多因子试验的时间成本、经济成本大大减少，而主要的分析目的没有受到丝毫的影响，多因子DOE的魅力正吸引着更多的工作人员将DOE的分析方法应用到更多的应用领域中。
揭开DOE（试验设计）的神秘面纱之四--最优化质量因子配置
经过筛选试验的精简和全因子试验的描述，很多人会满足已经取得的成绩，但也有一些精益求精的人会提出这样的问题：
现有的最佳因子水平组合一定是所有因子设置中最理想的选择吗？
如果不是，又应当如何找出最优化的因子设置？
确实，以往的DOE侧重于分析哪些因子是重要的，到底有多重要以及它们之间是否会相互影响，却没有刻意去从整体中寻觅最佳的因子设置。
为了解决这个问题，需要引入DOE中另一种新方法--响应曲面方法（ResponseSurfaceMethodology,即RSM），这也是我们本期DOE系列介绍的主题。
在这里，笔者仍将借助目前业界公认的高端六西格玛统计分析软件JMP来为大家展现响应曲面方法的实现和应用，顺便提及，JMP6是迄今业界唯一的中英文双语版六西格玛软件，来自全球顶尖的统计学软件集团SAS。
在实际工作中，常常需要研究响应变量究竟如何依赖于自变量X的，进而能找到自变量的设置使得响应变量得到最佳值。
当自变量的个数较少（通常不超过4个），则响应曲面方法是最值得推荐的方法，适合于要求响应变量望大（即越大越好）、望小（即越小越好）和望目（即越接近目标值越好）等各种常见情形。
通常来说，DOE的核心技术可分为试验计划和数据分析两大类，响应曲面方法也不例外。
在数据分析方面，它和以前介绍的方法没有什么本质的不同，但在试验计划方面，则有显著的改进。
响应曲面方法的试验计划主要有中心复合设计和Box-Behnken设计两种形式，具体用图形说明如下。
图一是以三维空间立方体的形式展示了一个三个因子的中心复合设计的试验计划示意图，在以下的叙述中给出的坐标都已将各因子代码化。
整个试验由下面三部分试验点构成。
1.立方体点（CubePoint），用蓝色点表示。
各点坐标皆为1或-1，这是全因子试验相同的部分。
2.中心点（CenterPoint），用绿色点表示。
各点的三维坐标皆为0。
3.轴点（AxialPoint），用黄色点表示。
除了一维自变量坐标为±（旋转性指数）外，其余维度的自变量坐标皆为0。
在三个因子情况下，共有6个轴点。
试验计划的另一种形式就是Box-Behnken设计。
这种设计的特点是将因子各试验点取在立方体每条边的中点上。
图二同样以三维空间立方体的形式展示了一个三个因子的Box-Behnken设计的试验计划示意图。
整个试验由下面两部分试验点构成。
1.边中心点（SideCenterPoint），用白色点表示。
除了一维自变量坐标为0外，其余维度的自变量坐标皆为±1。
在三个因子情况下，共12个边中心点。
2.中心点（CenterPoint），用黑色点表示。
各点的三维坐标皆为0。
由以上两个示意图可以清晰地发现，响应曲面方法有规律、有目的地在试验计划中增添了有限次数的各因子的中心试验点和拓展试验点，这为研究曲率的变化趋势、最优区域的确定等提供了极大的便利。
关于响应曲面方法在数据分析方面的特点，由于其和一般的因子设计DOE非常类似，此处就不做赘述。
主要还是通过一个工业案例来一并介绍响应曲面方法的实际应用。
场景:
如何通过催化剂（Catalyst）和稳定剂（Stabilizer）配置比例的具体设定，才能获得某化学试剂的最低不纯度（Impurities%）？
因子 低水平（-1） 高水平（+1）
催化剂%（Catalyst） 0.586 3.414
稳定剂%（Stabilizer） 0.586 3.414
显然，此时的工程师已经不满足于从仅有的四次全因子组合中选择最优的选项，而是希望在一个更广阔的可行性空间里充分挖掘过程的潜能，寻觅到一个最理想或是最接近理想值的配置比例。
当然，实现这一目的的同时还要兼顾试验的经济成本和时间次数等。
这时候，将传统的因子设计方法搁置一旁，适时地调用响应曲面方法，往往会起到最佳的效果。
为了提高我们应用DOE的工作效率，本文将直接使用专业统计软件JMP进行响应曲面方法分析，试图获得化学试剂的不纯度最低时的配置比例。
首先，我们根据实际情况，以中心复合设计为原则，迅速地确定了13次运行次数的试验规模以及每次试验时的因子具体设置。
接着，根据既定的试验计划进行实施，并且及时收集每次试验的响应值。
将以上结果汇总之后，即可得到如图三所示的JMP文件格式的数据表格。
图三 中心复合设计的试验结果汇总表
然后，运用"模型拟合"的操作平台，就可以得到具体详尽的定量分析。
遵循我们"强调通俗易懂，淡化统计原理"的一贯原则，我们不多在统计参数上花费笔墨，依然通过形象直观的图形来说明分析结果。
在求出精确解之前,我们先观察一下图四所示的等高线图（ContourPlot）和图五所示的曲面图（SurfacePlot）。
从两个图中都可以清楚地看到，在原试验范围内确实存在一个最小值。
那么这个最小值究竟是多少？
它又是在什么条件下产生的呢？
进一步借助JMP自带的模型预测刻画器（PredictionProfiler），如图六所示，我们可以轻轻松松地得到最优化的配置比例：
催化剂%=1.410568，稳定剂%=3.282724，这时产生的最低不纯净度%=3.156636。
顺便提及，笔者尝试了多种统计分析软件，只发现JMP集成了模拟功能，实在难能可贵。
至此，我们匆匆走过了应用DOE优化流程的探索之路。
其实在DOE的优化过程中，还有很多其他实用的知识和技巧，笔者将会在今后的文章中在做深入的介绍。
揭开DOE（试验设计）的神秘面纱之五--顾此不失彼的DOE
本连载前四个系列已经介绍了几种不同背景、不同要求的情况下，应用DOE的原理和技巧。
但细心的读者会发现之前的案例有一个共同的特点（或者称为局限）：
数据分析仅限于单个响应变量。
在实际工作中，常常会遇到要同时考虑多个响应变量的情况，例如希望断裂强度越大越好，同时希望厚度越小越好；希望质量水平越高越好，但同时希望成本越低越好等等。
这类问题与古人所说的有些相像：
"鱼与熊掌，能否兼得"？
确实，如何同时考虑多项指标是个很复杂的课题。
今天我们的任务就是另辟蹊径，设法解决处理多指标问题，使DOE也可以顾此不失彼。
DOE方法的实现离不开统计分析软件的支持，高端六西格玛统计分析软件JMP是目前业界最先进的六西格玛工具，其在DOE方面的表现最为优秀，本期案例我们仍以中英文双语版JMP软件作为DOE方案实现的载体。
其实，解决这个问题的关键是能否创建一个新指标，用它来代表所有的旧指标，然后通过优化这个新指标，就可以实现多指标的
升级会员 