辛普森悖论及其应用思考Word下载.docx

辛普森悖论及其应用思考Word下载.docx

《辛普森悖论及其应用思考Word下载.docx》由会员分享，可在线阅读，更多相关《辛普森悖论及其应用思考Word下载.docx（5页珍藏版）》请在冰豆网上搜索。

本文的目的是总结前人的分析结果，去探讨周围的辛普森现象，为大家进一步认清现象提供一些合理的解释及思考。

二、辛普森悖论的数学表示及相应问题

一起来看一个向量图。

详见图1。

图1是根据上文第一部分辛普森悖论中的数据得到的向量图。

从图1可以看出，当把数据用向量在图中表示时，向量的斜率就表示药物治疗的有效率，倾斜的角度越大有效率就越高。

在分性别讨论时，上面两条就表示女性的传统药物与新药治疗的有效率，下面两条就表示男性的传统药物与新药治疗的有效率，根据相应的斜率可以知道新药治疗的有效率都比传统治疗的有效率要高。

但不讨论性别时，表示传统治疗的有效率的斜率反而比表示新药治疗有效率的斜率大，也就是传统治疗的效果更好。

这也是我们之前讨论分析的结果。

那么，从数学上看，辛普森悖论也就是两个相对斜率较小的向量相加后反而比两个相对斜率较大的向量相加要大。

什么时候才会出现这种情况呢？

更一般的，记

（1）P（A|B）&

gt;

P（A|B＇）；

（2）P（A|B）&

lt;

P（A|B＇C＇）且P（A|BC＇）&

P（A|B＇C＇）。

其中“P（A|B）”表示B发生时A发生的条件概率，“B＇”表示B不发生，“C”表示混杂因素。

忽略了性别这个因素，得到的结论却不再一样。

像与性别有一样影响的因素也就称为混杂因素。

如果在使用数据的过程中把这类因素忽略掉将会混杂真正的因果关系，从而得到错误结论。

式子

（1）说明B发生时A发生的条件概率比B不发生时A发生的条件概率大，式子

（2）说明B发生且C发生时A发生的条件概率比B不发生且C发生时A发生的条件概率小，同时还有，B发生且C不发生时A发生的条件概率比B不发生且C不发生时A发生的条件概率小。

在加入C这一条件后，我们看到无论是在C发生还是不发生的背景下，B发生时A发生的条件概率都比B不发生时A发生的条件概率小。

这就与前面式子

（1）矛盾了。

这里我们可以看出“C”导致这种矛盾出现的因素。

若

（2）成立则有

（1）成立，这种现象就称为辛普森悖论。

针对前述表1至表3的例子，若用符号表示如下：

记“A”表示药物有效，“A＇”表示药物无效，“B”表示所用的药为新药，“B＇”表示所用的药为传统药物，“C”表示选择男性作试验，“C＇”表示选择女性作试验。

则表1、表2、表3可抽象为以下三个表格，即表4、表5、表6。

这与前面斜率的分析其实是同一个意思，尽管这个问题看似简单，但讨论起来可能比较困难。

因此，此处我们不作过多的讨论。

我们仅考虑在实际问题中，这种现象是否普遍存在。

前述我们所考虑的混杂因素C为二值变量的情况，辛普森悖论还可以考虑混杂因素C为多值变量的情况。

假设考虑C取值为C1，C2，C3…Ckk种情况，此时前述的

（2）式可表示为

（2）＇：

P（A|BCi）&

P（A|B＇Ci），i=1，2…k。

三、生活中的辛普森悖论

下面给出现实生活中产生辛普森现象的例子，用辛普森悖论来解释这些现象，找出其中引起矛盾的混杂因素，加深人们对辛普森悖论的理解和应用。

（一）“吸烟有害健康”问题。

表7为关于吸烟与肺癌的实验数据。

观察吸烟人群患肺癌的比率（25%）与不吸烟人群患肺癌的比率（40%）的差可以得到，似乎吸烟与人类患肺癌没有相关关系。

然而，当对研究的总体从性别这个因素将数据进行分组后，得到表8的数据，发现此时吸烟与男性、女性患肺癌都有相关关系。

这种矛盾的现象就是辛普森悖论。

因此，在使用统计调查数据进行分析时，应该考虑清楚哪些因素是要观察的，哪些因素是可以省略的。

表7是由一些原始数据整合所得到的，前面的“A”表示患肺癌，“A＇”表示未患肺癌，“B”表示选择吸烟的人作试验，“B＇”表示选择不吸烟的人作试验，“C”表示选择男性作试验，“C＇”表示选择女性作试验。

（二）“性别歧视”问题。

这里是一所高校的两个学院，分别为法学院和商学院新的一个学期招生的情况。

人们怀疑这两个学院的招生存在性别歧视，所以作了如下统计。

详见表9、表10。

观察表9、表10的数据可知，女生在两个学院都是被优先录取的，即女生的录取率比男生的高。

将两个学院的数据汇总后，得到表11。

观察表11的数据中却发现，男生的录取率反而比女生高。

借助一幅向量图可以更好地了解情况，详见图2。

单独两个向量的比较中，女生的斜率都比男生大，这也说明女生的录取率比男生高。

但看总体向量时，男生的斜率却大于女生。

前面的“A”表示被录取，“A＇”表示未被录取，“B”表示男学生报考，“B＇”表示女学生报考，“C”表示选择报考法学院，“C＇”表示选择报考商学院。

从上面的例子可知，简单地将分组数据（也可以称为原始数据）相加汇总是不能反映真实情况的。

下面还有一个类似的例子。

“研究生录取的性别偏差：

Berkeley的数据”。

表12是当时一所大学的研究生院录取情况的一些数据。

数据显示向某大学研究生院申请的9000个男性中有4000人被录取（占44.4%），而女性之中4500个只有1500个被录取（占33.3%）。

是不是表明了存在性别歧视呢？

表12中的数据是整合该研究生院4个系录取的数据所得。

接着再看描述各个系原始数据的表13。

发现在每一个系中女性录取率都比男性高。

此时，前面的“A”表示被录取，“A＇”表示未被录取，“B”表示男学生报考，“B＇”表示女学生报考，“C1”表示选择报考A系，“C2”表示选择报考B系，“C3”表示选择报考C系，“C4”表示选择报考D系。

像这样的两种结论，到底哪一个是正确的结论呢？

从表12看是男性的录取率比女性高，但如果添加条件，即表13，女性的录取率比男性高。

如果我们仅根据表12的数据就得出结论，可能会获得错误的结论。

这样的结论自然是不可靠的。

（三）“某地房价均价的涨与降”问题。

表14为某地区房地产5、6月份的数据，暂且不论数据里是否有水分假按揭，单凭这个表真的可以说明什么吗？

有人根据表14中6月份均价比5月上涨了一些，就得出了上涨7.7％的结论，统计解析房价的人或许对统计学并不怎么了解，从我们上面的例子可以知道，这样的结论是不可靠的，而且不具有统计参考意义。

那么该地区房价是否真的上涨了呢？

绝大多数人尤其是不了解统计的人看了之后肯定会说当然涨了。

可是事实上，好房子和烂房子均价都降低了1000元/平方米。

如果是真的话，那么这里也存在辛普森悖论。

同样，如果把好房子和烂房子分开来看统计数据，详见表15，加起来均价和房子总套数和上面的数据是一致的。

从表15得知，其实好房子的均价从12000降至11000，烂房子的均价从9000降至8000，均价都降低了1000块，可是汇总的均价呢？

却涨高了800块。

这就是辛普森悖论在生活中的体现。

有时候，概率也可以表示成均价。

而此时，前面的“A”表示房均价，“B”表示选择5月观察，“B＇”表示选择6月观察，“C”表示选择好房子销售，“C＇”表示选择烂房子销售。

（四）“学生与试卷”问题。

a、b两个学生，都有A、B两套试卷。

A试卷比较简单，正确率较高，B试卷比较困难，正确率较低。

详见表16、表17。

学生b做A、B两套试卷的正确率都较低，而且绝大多数做题用A套试卷；

学生a做A、B两套试卷的正确率都较高，而且绝大多数做题用B套试卷；

但分别直接累加A、B两套试卷的正确数量，将得出学生a的正确数要小于学生b的矛盾结论。

前面的“A”表示做题结果正确，“A＇”表示做题结果错误，“B”表示选择学生a做题，“B＇”表示选择学生b做题，“C”表示选择试卷A做题，“C＇”表示选择试卷B做题。

（五）“羽毛球比赛”问题。

比赛100场羽毛球赛以最后总的胜率评价两个人的实力强弱。

详见表18、表19。

于是第一个找高手挑战40场而胜2场，找一般的对手挑战60场而胜50场，结果总的胜率52%；

第二个则找高手挑战60场而胜6场，找一般的对手挑战40场打了个全胜，结果胜率为46%，比第一个的52%要小很多，但观察挑战对象数量及胜率可知，后者明显较有实力。

前面的“A”表示比赛胜利，“A＇”表示比赛失败，“B”表示选择甲选手比赛，“B＇”表示选择乙选手比赛，“C”表示选择高手做对手，“C＇”表示选择一般的人做对手。

四、关于辛普森悖论的一些思考

（一）风险认知研究。

现在很多的风险认知研究都会作出两种描述，一种是汇总的，一种是个体的。

现在看来，两种分析确实都是必要的，原理也是一样的。

如果根据两种数据得出的结论相同，那么或许作用是来自实验处理；

但若根据两种数据得出的结论不相同，汇总得到的效应可能就只是假象。

（二）因果关系的证明。

辛普森悖论的含义里指出，该悖论涉及的是相关关系，并不是因果关系。

也就是只能说明甲与乙的相关性。

而证明甲与乙的因果性呢？

想要证明因为甲所以乙，就必须证明有甲则有乙，并且无甲则无乙。

也就是之前所提到的虚假相关性与虚假独立性的内容，辛普森悖论里提及的只是相关关系，但却因为总是被用做因果关系来解释所以产生这么多自相矛盾的结论。

（三）辛普森悖论出现的原因。

从上面的几个问题分析还可以知道，辛普森悖论可能是由以下两个方面的因素造成的。

一是分组的权重。

首先，如“性别歧视”问题中分组的录取率要有一定的差距，也就是说如果法学院录取率较低的话，那么商学院的录取率就要比较高，相反的话也可以。

而在这种差距的同时，两种性别的申请者的分布比重需要出现相反的情况。

与上面的情况对应的话，女性的申请者则应该大部分分布在法学院，此时，男性的申请者则大部分分布在商学院。

结果观察数量时，拒收率比较高的法学院拒收了很多的女生，男生虽然有更高的拒收率，但被拒收的数量对于女生来说却算不上多。

而录取率很高的商学院录取了并不多的女生，男生虽然录取率没有女生高，但被录取的数量对于女生来说却多很多。

二是混杂因素及其他。

或许性别并不是影响录取率高低的唯一因素，甚至可能是根本没有影响的。

而这里比率差的出现，可能是偶然的。

又可能是其他因素的作用。

比如年龄，却刚好出现这种录取率的差别，被人错误地解释为性别差异而造成的。

（四）避免辛普森悖论出现的方法。

如果想要避免辛普森悖论的出现，就需要留意分组的权重的影响，同时思考是否存在其他潜在因素进而综合分析，因为这种情况并不容易察觉，尤其是只能看到汇总数据，而没有接触到原始、没有汇总数据的时候。

（五）数量与质量。

数量与质量肯定是不能等价讨论的，可是因为数量比质量来得容易测量，所以人们总是习惯简单地用数量、数字来评定好坏、优劣。

除数量与质量的思考外，从“学生与试卷”问题中，我们可以知道，也是从辛普森悖论得到的另一个启示就是，分数并不能说明一切，低分不一定就是低智商。

作为教师应该从这个角度看学生，而作为学生，也应该对自己有信心。

羽毛球这样的比赛也一样，一般以小组前几出线，但如果分组时水平相差很大，那么这时，两组的排名也没有比较的意义。

【参考文献】

［1］Simpson.E.H.Theinterpretationofinteractionincontingencytables［J］.JournaloftheRoyalStatisticalsociety,1951

（2）

［2］吴素萍，朱广萍.辛普森悖论（Simpson&

amp;

acute;

sParadox）和参数估计中的信息综合法［J］.宁夏农学院学报，2000

（1）

［3］耿直.因果推断与Simpson悖论［J］.统计与信息论坛，2000（5）

［4］张皓，黄向阳.论数据分组的误导作用［J］.商业经济与管理，2008（4）

［5］BickelP.j.Hammel，E.A.andO&

Connell.W.Sexbiasingraduateadmissions:

datafromBerkley［J］.Science,1975（187）

［6］WangerC.H.Simpson&

sparadoxinreallife［J］.TheAmericanStatistician,1982

（2）

［7］MyraL.Samuels,Matchinganddesignefficiencyinepidemiologicalstudies［J］.Biometrika，1981（3）

［8］Blyth,C.R.OnSimpson&

sParadoxandtheSureThingPrinciple［Ｊ］.JournaloftheAmericanStatisticalAssociation（TheoryandMethodsSection），1972（7）