统计学二十一世纪的挑战和机遇.docx
《统计学二十一世纪的挑战和机遇.docx》由会员分享，可在线阅读，更多相关《统计学二十一世纪的挑战和机遇.docx（51页珍藏版）》请在冰豆网上搜索。
统计学二十一世纪的挑战和机遇
统计学：
二十一世纪的挑战和机遇
BruceLindsay
JonKettenring
DavidSiegmund
2003年6月编
缪柏其译
中国科学技术大学统计与金融系
2003.12
报告是由美国国家科学基金会（NSF）资助召开的一个研讨会的一份工作报告，时间为2002年的5月6日至8日。
大约由50位来自世界各地的统计学家参加。
研讨会的目的是确认统计学今后的挑战和机遇。
它主要集中于科学研究，但也涉及重要的相关领域，如统计教育，基础结构，国际前景和长期目标。
该科学委员会负责起草出这份报告，在明年的这一过程中，还将收到来自该委员会其他成员和专业统计组织负责人的意见。
这个报告试图反映出这些意见的一个综合观念。
统计本身是一门科学——从数据中学习的科学，它扎根于继续增长的知识核心。
这表明它的根是概率论和数学，同时也受到更现代的计算机科学的影响。
统计学来自于这些根，又反馈给它们新的数学和计算问题。
统计也是一个不多见的学科交叉领域。
的确，应用是它的原动力。
在为认可的技术提供有价值的市场时它们激发了关于新理论和新方法的研究。
对统计来说目前最迫切的是要适应于这种数据集的需求，它们是如此之大和如此复杂，以至于需要新的概念。
统计学家不但要使用数据，而且要设计试验和阐述试验结果。
这些问题经常是广泛的学科间合作的源泉——从天文到公共政策到动物学——这些都是今天的统计学家从事的领域。
1统计是什么？
假如面对广大的听众演讲，委员会感到有必要来阐述科学中的统计角色。
许多科学家（如果不是全部）仅仅看到了我们领域的一点皮毛。
为此在研讨会上的第一个演讲者，牛津大学著名的D.R.Cox教授，被要求从最基本的讲起，以及确认“统计是什么？
”该问题在研讨过程中被反复提及。
我们在这儿综述一些主要观点。
统计学科本质上可以用它的多学科性来识别。
该领域的长远（over-arching）目标是从所有类型的数据中提取科学的和有意义的信息。
统计学家用不同的方法在大量的科学过程中达到这一目标。
在好的实验原理培养下，他们可以成为从初级实验设计一直到最终数据分析和得出结论这一科学过程的合作者。
统计工作的科学领域几乎与科学尝试一样广泛，在研讨会中，我们集中讨论六个主要领域：
统计核心加上六个应用的主要领域：
●生物科学
●工程和工业统计
●地理和环境科学
●信息技术
●物理科学
●社会和经济科学
被选择的这些领域大体上对应于（美国）国家科学基金资助的不同的方向。
在本报告的第五章，这些领域的每个部分，除了一个外都将给出一个有深度的回顾，但社会和经济科学必须被不幸地排除。
编委们面临的困难是这个领域不但很难与别的领域分开，而且相当复杂。
在该领域的研究工作者大多不在统计系工作，但对诸如经济学，心理学和社会学感兴趣。
这包含了若干个领域，这些领域有它们自己成熟的和特有的统计文献，如心理计量学和经济计量学等。
关于对这种成熟的和有大量文献领域的回顾已超出我们的时间框架和资源。
在合作领域外，统计学者的核心活动是用于信息抽取的数学和概念工具的构造。
虽然大部分这类研究的数学基础是概率论，但最终目的是要提供在经验工作中有用的结果。
这区分了统计学家理论研究结果和大多数数学领域的结果——在其中抽象结果纯粹追求它们内在的意义。
正如NSF报告98－95“关于美国数学的国际评估的高级评估小组报告”（reportoftheSeniorAssessmentPanelfortheInttrnationdAssessmentoftheU.S.AMachematicalScience）（以后称为”OdomReport”）所述，：
统计总是与应用连在一起的，结论的重要性，既使是理论统计，也是强烈依赖于与结论有关的应用类型。
在这方面它非常不同于计算数学以外的其它所有数学分支。
（我们所强调的）
统计领域的显著特点，以及它发展的方法论，集中在从数据得出科学结论的小心谨慎原则的设计上。
该原则性方法使统计有别于数据处理，组织和分析的场合。
一个主要的要求是规定我们必须要对由数据作出的科学陈述的不确定性提供一种度量。
设计的这类统计工具如置信系数，显著性水平以及信任区域等，提供了关于有效性的容易解释的度量。
适当使用这些工具有助于控制来自于数据的虚假结论。
首先是本杰明狄斯瑞利（BenjaminDisraeli），后来由马克吐温引用，说道：
“有三类谎言：
谎言，可恶的谎言，以及统计。
”事实上，统计学家被训练成能区分科学真理和科学虚构。
为了指出这一点，在本报告的后面，我们将讨论有效性的一种新的度量，假发现率（falsediscoveryrate），它是由于在现代科学研究中的海量数据和假设范围很大而发展起来的。
当然，统计学拥有统计工具一点也不比数学家拥有数学工具多。
确实，大多数的统计应用和统计研究是由其它学科领域的科学家得到的。
统计研究的基本作用是发展新工具用于尖端科学。
本报告的后一节我们将描述近年来产生的非常激动人心的统计研究的可能性。
特别，数据收集和储存的可能性已打开了对数据分析问题的全新方法的需求。
统计学会
根据统计工作的性质，统计学者在很广的范围内工作。
在美国，有许多统计学家在统计系工作。
这种系可以在大多数研究型大学中找到。
目前在统计，生物统计和生物计量领域有86个博士点。
它们往往集中在研究生的研究中，包括与其它学科合作，教学，以及为本科服务的课程。
本报告后面要演讲的一个主要问题是，在为主修统计的本科生拓宽进入统计领域渠道的主要努力中他们潜在的未来角色。
这些系大部分是在二十世纪后半叶从数学系分出来的。
因此统计常常被认为是数学的一个分支。
这种结构观点也很明显反映在NSF本身。
在其中，概率和统计作为数学下的一个分支，与纯数学分支，如拓扑和代数等同放在一起。
但是“未来”研讨会与会代表的一个主要结论是统计与其它数学分支越来越不同。
统计学家的科学目标和现代科学的方向指向这样一个方向：
计算机和信息科学工具对统计而言至少与概率论同等重要。
大量的科学统计学会的分支不在统计系。
这可能就出现在有统计系的大学里，我们可以在商学院，社会科学和不同门类的理科系中发现它们。
在没有统计学的学院，例如在四年制的学院，统计学家经常在数学系，因为数学系需要他们为本科生上课。
最后，还有许多统计学家在生物统计系工作。
还有大量的统计学家在科学学会外，但与学会有良好联系，他们受雇于政府、企业和许多统计使用者。
NSF报告，即Odom报告，叙述了关于统计的领域：
在科学学会与工业和政府中的使用者之间的交流发展得很快，因此理论思想与来于应用的挑战性的问题，以及各学科传统之间的散布都非常快。
，
统计学家也工作于各政府部门，从人口普查局到国家标准化和技术研究所，到国家卫生研究所。
他们也受雇于许多工业企业，经常是从事质量控制工作。
特别，医药工业已成了统计学家最大的雇主。
他们完成药品以及所需的试验设计和分析。
著作《二十一世纪的统计》（Raftery等著）包含了当今许多领头学者们撰写的70篇论文。
可以把它介绍给统计学家作为有用的信息要目，它在很广的统计主题范围内涵盖了统计当前的地位和将来的研究方向。
2．历史回顾
统计方法在科学上的应用已经有很长的历史了，尽管将之认知为一门独立的学科要追溯到20世纪。
西格尔（Stigler）（1986）将现代统计学确认为一门统一的学科，“既是逻辑又是方法”。
于是在这种基础上产生了各种统计思想。
其中之一就是源于天文和地理测量中的联合测量难题上的数据分析。
最早的贡献就是1800年左右拉格朗日（Legendre）的最小二乘法。
第二个分支是起源于概率论早期发展的不确定理论的基础。
这里，数学家贝努里（Bernoulli），德谟弗（DeMoivre），贝叶斯（Bayes），拉普拉斯（Lapalace），高斯（Gauss）奠定了概率模型结构的基础，同时也提供了从概率模型得出关于数据结论的基础。
十九世纪后期在英国统计思想才有了本质性的加速，现在那些产生概念的度量正是起源于遗传和生物计量学所用的度量。
相关系数和回归这些主要的统计思想正是在这个时候发展起来的。
不久K·皮尔逊（K·Pearson）发展了
检验（1900）。
这是一个相当重要的概念性的突破。
直到今天它还被用作统计模型中科学假设的严格检验。
伦敦大学的应用统计系在1911年由K·皮尔逊建立，它是世界上第一个大学里的统计系。
它的前身是优生学实验室和生物计量实验室.
几年之内，R·费歇（R·Fisher），也是英国人，创建了很多现代统计学的基础。
费歇也是现代人类遗传学的创立者，他具有极高的天赋。
他创建了复杂实验的分析方法，即现在每天被科学家们使用成千上万次的“方差分析”。
他证明了一个称之为似然的函数可以用来研究几乎任一概率模型中的最优估计和检验程序。
受农业田间实验的启发，他建立并发展了实验设计的主要思想。
费歇有相当强烈的统计直觉。
至少二十世纪的一些重要工作都仅仅是弄清显著性和推广他田间试验的研究领域。
在随后的二十世纪30年代的重要工作就是伦敦大学的J·纽曼和E·皮尔逊对假设检验的严格的理论发展了。
这个理论已成为二十世纪后期这个领域中其他研究的基础。
到了二十世纪中期，美国的统计学家做出了一些开创性的工作。
哥伦比亚大学的A·瓦尔特（A.Wald）是发展序贯分析的领导者，这是二战时期需要有效抽样而发展起来的一门学科。
同时，他也是统计决策理论发展方向的领导者。
这个时期的另一个大师级人物就是宾夕法尼亚州立大学的C.R.劳（C.R.Rao）――前不久全国科学金牌的获得者（nationalmedalofscience）,――他在多元统计方面有很多的创新，解决了研究多维数据的复杂结构问题。
另一个科学金牌获得者普林斯顿的J.土凯（J.Tukey）则是现代数据分析之父。
正是在这段时期，统计学在美国作为一门独立学科开始制度化和系统化，统计学不同于数学也不是数学应用的特殊领域。
美国的哥伦比亚大学和北加州大学都是最早的一批加入者。
后来，随着科学的发展，统计部门的数量和规模都在逐步壮大。
下一章节中我们将会看到这方面的迹象。
上个世纪很多重要的发展都出自建模和估计领域，这些研究出来的方法扩大了可用模型的视野和拓宽了统计程序有效性的范围。
这些研究的一个重要副产品是所谓的大样本理论的扩展—－当数据样本大小很大时统计过程的分布性质的研究。
不确定性的精确度量是统计推断的关键部分。
大样本理论使统计学家们能够在很广的一类问题中计算这些度量的相当好的近似值。
科学上的一个主要革命发生在二十世纪七十年代，这次革命注定要永远改变统计学的面貌。
起初是笨拙地用打孔机打卡，但是计算机很快地取代了这种很慢的打孔方法，它完全改变了得出统计分析结论的意义。
它也改变了科学家们收集数据和存储数据的工作。
那么随之而来的是什么呢？
这个报告正是关于这些问题的。
关于历史，我们注意到这样一个事实：
二十世纪末最成功的方法，如自助法和比例危险率模型，如果没有计算机的帮助，这些方法可能就不能付诸实际。
科学家们收集更多和更复杂数据的能力给我们指出了一个令人兴奋和极具挑战性的，并有更多基础性结果的未来。
3现状
概述
统计的理论和应用涉及很多学科。
应该注意到，统计学科不可能有一种在传统分类意义下分成不同研究领域的统一分法。
专业性质
Odom报告对于美国学者们在统计上的努力给予了充分肯定，报告指出：
“美国的统计科学非常正常地涵盖了所有分支，成为全世界的主导”。
一份有关四本主流统计杂志（其中两本在英国）的非正式调查证实了这一结论。
下表展示了这些杂志中美国基本作者的部门背景。
统计学49％
生物统计学23％
工业6％
数学科学5％
数学4％
其它13％
这些作者中大约一半的人有美国背景。
基本上这些作者都在学术机构。
而且，大部分来自统计和生物统计系，小于十分之一的人来自数学或与数学科学。
下表展示了已出版研究成果的资金来源。
NIH40%
NSF38%
NSA（美国标准化协会）9%
ARO/ONR/EPA4%
其它9％
很显然，国家科学基金（NSF）和国家健康研究所（NIH）是统计研究资金的两个主要的来源。
专业的规模
衡量统计领域规模的方法之一是把它和其他的数学学科相比较。
下表中我们给出了主要的统计学和数学机构中大概的会员数：
美国统计协会（ASA）16,000
数理统计学会（IMS）3,500
生物统计学会（ENAR/WNAR）3,500
美国数学会（AMS）30,000
美国数学联合会（MAA）33,000
工业和应用数学会（SIAM）9,000
这些数目比较起来有些困难，因为会员名单中有重复。
但是这些数据表明统计领域的会员数可能占数学家的1/4到1/2。
美国数学会2001年度的调查表明在统计，生物统计和生物计量学中有86个博士（program）计划，（第四组）这可以和其他数学领域的196个（program）计划相比较（第一，二，三，五组）。
数字上不是很容易比较，但是确实提供了规模的一些概念。
每年统计博士的人数可能是一个更好的度量。
然而，这些数据受到许多通常数据采集方法的影响：
总体的定义，数据的质量以及调查无反应。
下表展示了三个对统计而言完全不同的会员数和关于数学其余部分的两个估计数。
AMS调查2000（概率除外）310
美国数学会在线2000（自身报告）457
NSF2000年获得博士学位（包括统计分支）822
作为参考，排除统计的数学：
AMS调查2000809
NSF获得博士学位的调查925
AMS的调查承认了统计（program）计划中的无反应问题。
NSF有关已获博士学位数目的调查是把统计的各分支学科加总来算的。
在这个基础调查中，这些学科中博士被分成几乎300个细类。
如果我们考虑除掉统计后数学中的博士数目，那么在AMS和NSF的调查中就有许多的一致之处。
这样再一次表明了对统计而言，在数据的收集和确认中存在许多问题。
NSF的调查提供的数据让我们了解了统计和其他数学学科之间的关系在过去的35年内发生了改变。
表3.1表明了每年统计学博士的数目（由NSF定义）至少有200人，但比数学学位人数的1/3还要小，但是大体沿着线性速度增长到800，在二十世纪八十年代和数学学位的人数基本相同，然后就稍稍超过数学。
研究型博士的数目是研究活跃水平的一个大体反映。
不管怎么说，在DMS中有三个项目方向是统计和概率的，而其余19个项目是数学的其余所有领域。
这种平衡似乎并没有反映出统计研究成果的程度，这是由参与者衡量的，不涉及对科学的重要性，我们将在后面说明。
数据收集
我们报告的主题是统计领域在它的科学价值和科学工作量上正经历着一个引人注目的增长，这是由于科学的变化，特别是数据收集变化的结果。
Odom报告指出：
“随着高速计算机和传感器的出现，一些实验科学现在可以产生大量的数据――人类基因就是一个例子――然后需要编制这些数据和从中提取有用信息的新工具，这些新工具将依赖于数学科学。
”
在所有的数学科学中，统计学是唯一关注科学数据的收集和分析的学科。
近年来每一个高级统计学者都已经感受到数据量的惊人成长所带来的冲击。
科学合作带来的机遇增长
这个报告的第二个主要议题是科学上对统计知识需求的增长给统计学者们带来了与日俱增的压力，他们本身需要抓紧时间学习，同时也要给各个科学领域提供指导。
正如Odom报告所指出：
无论是在应用还是多个学科的交叉项目中，既有误用统计模型的严重问题。
又有对科学家，工程师，社会科学研究者以及其他统计方法的使用者的教育质量的严重问题。
当观测产生更多的数据时，或许就要由包括统计学者的研究队伍来解决这个难题。
图3.1NSF关于学科中博士的调查
Odom的报告进一步指出将来的科学难题将会非常复杂，以及需要多方面的努力。
报告指出：
单个研究者掌握数学/计算机科学两个学科以及对复杂问题仅仅建立一个科学准则几乎是不可能的事。
我们完全同意这个发现并且会进一步给予详细阐述。
关于下一代：
从几个方面来看，未来的挑战对统计学与数学是有所区别的。
例如，在Odom的报告中指出三个要点：
…美国数学会同其他国家一样面临着诸多重大的挑战，包括与其他科学领域和工程学的隔离的环境、进入这一领域的年青人数量的滑坡、与非科学领域，特别是私人部门联系的匮乏。
（我们所强调的观点）
我们可以发现，在过去的一些年中，美国居民进入统计领域的人数确实在不断的缩减，博士学位人数的增长主要来自于国外留学者。
另一方面，从科学委员会的观点看，Odom报告中提到的与其他学科、领域及非自然科学联系不够的问题，在统计领域似乎不存在。
4．统计的核心
统计学中有一个正在不断扩展的知识传统，对此，没有一个合适的词语来称呼，暂且称之为统计的核心。
这个术语并没有被学术界广泛地接受，所以有必要对它的含义加以阐明。
我们定义统计核心为众多统计工作的子集，这些统计工作指的是统计学内在的研究而不是它的延伸，尤其是那些触及特定学科领域的统计需求。
作为“核心”的同义词，内延（“inreach”）是可以接受的。
它反映了核心是外延的对立面。
按照这样的说法，几乎所有的统计学家都同时涉及到了内延和外延。
对“核心”领域的研究集中在对统计模型、方法和根据统计学一般原理的相关理论的研究。
目的是创建统一的基本原理、概念、统计方法以及计算工具。
尽管这是一种内部审视的行为，但是核心的一个中心理念是：
一个问题的重要性不是由其内在美（即抽象数学）所决定的，而是由其潜在的广泛应用价值所决定的，换句话说，是由我们的方法对扩展科学有效性的理解中的价值决定的。
从内在和外在结合的角度来看，核心可看作一个信息插座。
核心可以由它和所有其它学科的有效连接和应用来定义。
核心中的统计概念和方法可同时被用于非常广泛的学科，同时应用是统计发展的巨大源泉，作为结论，核心对所有科学提供了高的价值。
核心研究有别于“特殊应用统计研究”，后者完全是为解决某一特定科学领域里的问题而需要分析数据所驱动的。
必然地，这种研究以核心知识作为工具以及作为对这些工具局限性的一种认识。
这种研究为将来核心研究提供了原始素材。
4.1对统计核心互动性的理解
有一个指标可以反应统计核心在科学界贡献的普遍价值，那就是统计文献的被引用次数。
从谨慎的角度来看，被引用次数不要解释过度，因为单篇论文的高引用可以反映质量或内在重要性以外的事情。
我们在这里选择引用次数是因为它可以提供一个简单而又可行的度量，来衡量统计在其他科学领域研究里的广泛影响力。
图4.1被引用最多的数学家的引用次数
著名的编制SCI和相关文献的科学信息研究所（ISI），创建了“二十世纪九十年代被引用最多的科学家”的几个排行榜。
根据JenniferMinnick和ISI在2000年10月11日提供的数据，1991至2001年之间在前25名被引用最多的数学家中由18位是统计学家或生物统计学家。
每位学者的被引用次数情况见图4.1。
补充一点，JASA（JournaloftheAmericanStatisticalAssociation）则是远远超过被引用次数最多的数学科学杂志。
有证据表明，统计文献相对于整体数学的高引用率是与它广泛的科学影响分不开的。
例如，Hall和Titterington（1987）的一篇论文，文中考虑了关于在非参数函数估计中选择光滑参数的棘手问题，大约三分之二的引用都是来自与统计核心的任一定义无关的领域，如：
IEEE杂志，显微镜，生物医学工程，以及物理学杂志（JournaldePhysique）。
该论文发表在核心研究杂志上并不影响它的理论传播。
图4.2统计信息向其它学科的扩散
一篇介绍自助法的论文，作为最重要的论文之一，直接从统计核心的研究进入到许多科学的主流领域。
在该文最新的500次引用中，只有152次出现在统计文献中。
图4.2表明，由统计核心产生的新方法得到广泛的传播。
当然，核心也产生于对科学有意义和有用的方法中，因为它延伸到某些特殊领域，发现重要的概念，以及创立扩大可应用性的必要推广。
例如，在保险精算中有个特定年龄死亡率的问题，我们可以考虑这些方法的拓展。
在1972年和1975年，提出的比例危险率回归和偏似然分析（partiallikelihoodanalyses），使我们可处理关于协变量信息删失的数据，这极大丰富了寿命数据分析的可用工具。
从那个时候起，这些思想和这个方法被发展和传播到有删失和部分可观测数据的所有科学中。
这也许包括天文学，例如，一颗用某种观测工具可以看到的可视星，可能由于不适当的信号用另一种观测工具却看不到。
4.2互动性的一个详细例子
如下最近的例子更具体地表明这样一个事实：
统计的核心研究与统计外延努力相互反馈和相互作用。
因为至少有一些这类工作是NSF资助的，因此它部分指出了这类相互作用。
在支持核心研究时应该记住这点。
去年，三个天体物理学家在Science上发表了一篇证实宇宙起源大爆炸理论的论文。
他们研究了当今宇宙物质分布中所谓声音振荡的痕迹，得出这种痕迹是与从早期宇宙发出的宇宙微波背景辐射是一致的。
这不仅给大爆炸理论提供了支持，也提供了一种认识早期宇宙物理性质的方法，这种方法可以根据随时间向前向后的微波背景辐射来预测物质的分布情况。
这个发现是通过使用一种叫做假发现率（周知为FDR）的新统计方法来探测振荡而得到的。
在假发现率为1/4的情形下，8被标记为可能与光滑无特征的功率谱不一致。
这个发现和更深入的分析使得作者得出这样的结论：
振荡在统计意义上不同于通常物质密度功率谱。
这种方法是通过与两位统计学家合作完成的，并发表在《天文学杂志》（TheAstronomicalJournal）上。
用这种方法，作者才能够获得他们的发现而且能够把论文发表在Science上，而与此同时，其它的竞争团队却由于数据过多而难以前进。
追踪这个成功的历史是件很有意义的事情，因为它很好地描述了统计核心如何作为“信息插座”而运作。
图4.3描述了该统计思想的迁移路径。
当人们根据同一数据集检验许多假设时，必须调整检验的显著性水平以免错误地拒绝真正的原假设。
这种“同时推断”问题也许在医学统计中受到高度重视，至少所引用的所有参考文献是作为动机出现在医学文献中的。
确实，这儿统计的贡献不是提出用于本例中的序贯P-值程序（这种程序实际上可以追溯到80年代（也许更早）的西门斯（Simes）），而是建立起了一种令人信服的理论判断。
这种理论判断，也就是FDR控制，导致了其他研究人员提出一种新的估计。
这个估计建议引起了别人的注意，因为它对统计信号过程中小波缩减方法中阈值的选取有着潜在的作用。
CMU（卡内基梅隆大学）的统计工作者已经开始使用FDR方法了，不仅在核心课题中使用，而且也在他们与天体物理学家Miller和Nichol的合作中使用。
最初，他们考虑巨大像素阵列的信号探测问题。
后来，在他们的合作中，物理学家们发现这种方法可以应用到声音振荡信号中，正是这个发现导致了Science的一篇论文。
Miller和Nichol称，当他们把这一工作向物理学界报告的时候，人们对FDR方法表示了极大的兴趣。
CMU物理学教授BobNichol写道：
我个人愿意强调，在CMU的统计学家和天体物理学家已经产生了某种共生关系。
现在已经很清楚存在着两个领域的研究者们都感兴趣的公共核心问题，如把FDR方法用于天体物理问题。
实际上，当统计学家乐于扮演帮助认识宇宙的角色时，天体物理学家对统计的数学美也甚是赏识（甚至想参与其中）。
除了这些联合项目外，这种合作也推动着各自领域里新的研究。
总之，这种多渠道合作不仅激发了新的联合研究，也激发了各自领域中新的研究。
因此，这是一个完美的结合。
4.3一系列研究挑战
下面我们将给出未来在统计
升级会员 