概率论发展史5篇修改版.docx

概率论发展史5篇修改版.docx

《概率论发展史5篇修改版.docx》由会员分享，可在线阅读，更多相关《概率论发展史5篇修改版.docx（19页珍藏版）》请在冰豆网上搜索。

概率论发展史5篇修改版

第一篇：

概率论发展史

17世纪，正当研究必然性事件的数理关系获得较大发展的时候，一个研究偶然事件数量关系的数学分支开始出现，这就是概率论．

早在16世纪，赌博中的偶然现象就开始引起人们的注意．数学家卡丹诺（Cardano）首先觉察到，赌博输赢虽然是偶然的，但较大的赌博次数会呈现一定的规律性,卡丹诺为此还写了一本《论赌博》的小册子，书中计算了掷两颗骰子或三颗骰子时，在一切可能的方法中有多少方法得到某一点数．据说，曾与卡丹诺在三次方程发明权上发生争论的塔尔塔里亚，也曾做过类似的实验．

促使概率论产生的强大动力来自社会实践．首先是保险事业．文艺复兴后，随着航海事业的发展，意大利开始出现海上保险业务．16世纪末，在欧洲不少国家已把保险业务扩大到其它工商业上，保险的对象都是偶然性事件．为了保证保险公司赢利，又使参加保险的人愿意参加保险，就需要根据对大量偶然现象规律性的分析，去创立保险的一般理论．于是，一种专门适用于分析偶然现象的数学工具也就成为十分必要了．

不过，作为数学科学之一的概率论，其基础并不是在上述实际问题的材料上形成的．因为这些问题的大量随机现象，常被许多错综复杂的因素所干扰，它使难以呈“自然的随机状态”．因此必须从简单的材料来研究随机现象的规律性，这种材料就是所谓的“随机博弈”．在近代概率论创立之前，人们正是通过对这种随机博弈现象的分析,注意到了它的一些特性,比如“多次实验中的频率稳定性”等，然后经加工提炼而形成了概率论.

荷兰数学家、物理学家惠更斯（Huygens）于1657年发表了关于概率论的早期著作《论赌博中的计算》．在此期间，法国的费尔马（Fermat）与帕斯卡（Pascal）也在相互通信中探讨了随机博弈现象中所出现的概率论的基本定理和法则．惠更斯等人的工作建立了概率和数学期望等主要概念，找出了它们的基本性质和演算方法，从而塑造了概率论的雏形．

18世纪是概率论的正式形成和发展时期．1713年，贝努利（Bernoulli）的名著《推想的艺术》发表．在这部著作中，贝努利明确指出了概率论最重要的定律之一――“大数定律”，并且给出了证明，这使以往建立在经验之上的频率稳定性推测理论化了，从此概率论从对特殊问题的求解，发展到了一般的理论概括．

继贝努利之后，法国数学家棣谟佛（AbrahamdeMoiver）于1781年发表了《机遇原理》．书中提出了概率乘法法则，以及“正态分”和“正态分布律”的概念，为概率论的“中心极限定理”的建立奠定了基础．

1706年法国数学家蒲丰（ComtedeBuffon）的《偶然性的算术试验》完成，他把概率和几何结合起来，开始了几何概率的研究，他提出的“蒲丰问题”就是采取概率的方法来求圆周率π的尝试．

通过贝努利和棣谟佛的努力，使数学方法有效地应用于概率研究之中，这就把概率论的特殊发展同数学的一般发展联系起来，使概率论一开始就成为数学的一个分支．

概率论问世不久，就在应用方面发挥了重要的作用．牛痘在欧洲大规模接种之后，曾因副作用引起争议．这时贝努利的侄子丹尼尔·贝努利（DanielBernoulli）根据大量的统计资料，作出了种牛痘能延长人类平均寿命三年的结论，消除了一些人的恐惧和怀疑；欧拉（Euler）将概率论应用于人口统计和保险，写出了《关于死亡率和人口增长率问题的研究》，《关于孤儿保险》等文章；泊松（Poisson）又将概率应用于射击的各种问题的研究，提出了《打靶概率研究报告》．总之，概率论在18世纪确立后，就充分地反映了其广泛的实践意义．

19世纪概率论朝着建立完整的理论体系和更广泛的应用方向发展．其中为之作出较大贡献的有：

法国数学家拉普拉斯（Laplace），德国数学家高斯（Gauss），英国物理学家、数学家麦克斯韦（Maxwell），美国数学家、物理学家吉布斯（Gibbs）等．概率论的广泛应用，使它于18和19两个世纪成为热门学科，几乎所有的科学领域，包括神学等社会科学都企图借助于概率论去解决问题，这在一定程度上造成了“滥用”的情况，因此到19世纪后半期时，人们不得不重新对概率进行检查，为它奠定牢固的逻辑基础，使它成为一门强有力的学科．

1917年苏联科学家伯恩斯坦首先给出了概率论的公理体系．1933年柯尔莫哥洛夫又以更完整的形式提出了概率论的公理结构，从此，更现代意义上的完整的概率论臻于完成．

相对于其它许多数学分支而言，数理统计是一个比较年轻的数学分支．多数人认为它的形成是在20世纪40年代克拉美（H.Carmer）的著作《统计学的数学方法》问世之时，它使得1945年以前的25年间英、美统计学家在统计学方面的工作与法、俄数学家在概率论方面的工作结合起来，从而形成数理统计这门学科．它是以对随机现象观测所取得的资料为出发点，以概率论为基础来研究随机现象的一门学科，它有很多分支，但其基本内容为采集样本和统计推断两大部分．发展到今天的现代数理统计学，又经历了各种历史变迁．

统计的早期开端大约是在公元前１世纪初的人口普查计算中，这是统计性质的工作，但还不能算作是现代意义下的统计学．到了18世纪，统计才开始向一门独立的学科发展，用于描述表征一个状态的条件的一些特征，这是由于受到概率论的影响．

高斯从描述天文观测的误差而引进正态分布，并使用最小二乘法作为估计方法，是近代数理统计学发展初期的重大事件，18世纪到19世纪初期的这些贡献，对社会发展有很大的影响．例如，用正态分布描述观测数据后来被广泛地用到生物学中，其应用是如此普遍，以至在19世纪相当长的时期内，包括高尔顿（Galton）在内的一些学者，认为这个分布可用于描述几乎是一切常见的数据．直到现在，有关正态分布的统计方法，仍占据着常用统计方法中很重要的一部分．最小二乘法方面的工作，在20世纪初以来，又经过了一些学者的发展，如今成了数理统计学中的主要方法．

从高斯到20世纪初这一段时间，统计学理论发展不快，但仍有若干工作对后世产生了很大的影响．其中，如贝叶斯（Bayes）在1763年发表的《论有关机遇问题的求解》，提出了进行统计推断的方XX方面的一种见解，在这个时期中逐步发展成统计学中的贝叶斯学派（如今，这个学派的影响愈来愈大）．现在我们所理解的统计推断程序，最早的是贝叶斯方法，高斯和拉普拉斯应用贝叶斯定理讨论了参数的估计法，那时使用的符号和术语，至今仍然沿用．再如前面提到的高尔顿在回归方面的先驱性工作，也是这个时期中的主要发展，他在遗传研究中为了弄清父子两辈特征的相关关系，揭示了统计方法在生物学研究中的应用，他引进回归直线、相关系数的概念，创始了回归分析．

数理统计学发展史上极重要的一个时期是从19世纪到二次大战结束．现在，多数人倾向于把现代数理统计学的起点和达到成熟定为这个时期的始末．这确是数理统计学蓬勃发展的一个时期，许多重要的基本观点、方法，统计学中主要的分支学科，都是在这个时期建立和发展起来的．以费歇尔（R.A.Fisher）和皮尔逊（K.Pearson）为首的英国统计学派，在这个时期起了主导作用，特别是费歇尔．

继高尔顿之后，皮尔逊进一步发展了回归与相关的理论，成功地创建了生物统计学，并得到了“总体”的概念，1891年之后，皮尔逊潜心研究区分物种时用的数据的分布理论，提出了“概率”和“相关”的概念．接着，又提出标准差、正态曲线、平均变差、均方根误差等一系列数理统计基本术语．皮尔逊致力于大样本理论的研究，他发现不少生物方面的数据有显著的偏态，不适合用正态分布去刻画，为此他提出了后来以他的名字命名的分布族，为估计这个分布族中的参数，他提出了“矩法”．为考察实际数据与这族分布的拟合分布优劣问题，他引进了著名“χ２检验法”，并在理论上研究了其性质．这个检验法是假设检验最早、最典型的方法，他在理论分布完全给定的情况下求出了检验统计量的极限分布．1901年，他创办了《生物统计学》，使数理统计有了自己的阵地，这是２０世纪初叶数学的重大收获之一．

1908年皮尔逊的学生戈赛特（Gosset）发现了Z的精确分布，创始了“精确样本理论”．他署名“Student”在《生物统计学》上发表文章，改进了皮尔逊的方法．他的发现不仅不再依靠近似计算，而且能用所谓小样本进行统计推断，并使统计学的对象由集团现象转变为随机现象．现“Student分布”已成为数理统计学中的常用工具，“Student氏”也是一个常见的术语．

英国实验遗传学家兼统计学家费歇尔，是将数理统计作为一门数学学科的奠基者，他开创的试验设计法，凭借随机化的手段成功地把概率模型带进了实验领域，并建立了方差分析法来分析这种模型．费歇尔的试验设计，既把实践带入理论的视野内，又促进了实践的进展，从而大量地节省了人力、物力，试验设计这个主题，后来为众多数学家所发展．费歇尔还引进了显著性检验的概念，成为假设检验理论的先驱．他考察了估计的精度与样本所具有的信息之间的关系而得到信息量概念，他对测量数据中的信息，压缩数据而不损失信息，以及对一个模型的参数估计等贡献了完善的理论概念，他把一致性、有效性和充分性作为参数估计量应具备的基本性质．同时还在1912年提出了极大似然法，这是应用上最广的一种估计法．他在２０年代的工作，奠定了参数估计的理论基础．关于χ２检验，费歇尔1924年解决了理论分布包含有限个参数情况，基于此方法的列表检验，在应用上有重要意义．费歇尔在一般的统计思想方面也作出过重要的贡献，他提出的“信任推断法”，在统计学界引起了相当大的兴趣和争论，费歇尔给出了许多现代统计学的基础概念，思考方法十分直观，他造就了一个学派，在纯粹数学和应用数学方面都建树卓越．

这个时期作出重要贡献的统计学家中，还应提到奈曼（J.Neyman）和皮尔逊（E.Pearson）．他们在从1928年开始的一系列重要工作中，发展了假设检验的系列理论．奈曼－皮尔逊假设检验理论提出和精确化了一些重要概念．该理论对后世也产生了巨大影响，它是现今统计教科书中不可缺少的一个组成部分，奈曼还创立了系统的置信区间估计理论，早在奈曼工作之前，区间估计就已是一种常用形式，奈曼从1934年开始的一系列工作，把区间估计理论置于柯尔莫哥洛夫概率论公理体系的基础之上，因而奠定了严格的理论基础，而且他还把求区间估计的问题表达为一种数学上的最优解问题，这个理论与奈曼－皮尔逊假设检验理论，对于数理统计形成为一门严格的数学分支起了重大作用．

以费歇尔为代表人物的英国成为数理统计研究的中心时，美国在二战中发展亦快，有三个统计研究组在投弹问题上进行了9项研究，其中最有成效的哥伦比亚大学研究小组在理论和实践上都有重大建树，而最为著名的是首先系统地研究了“序贯分析”，它被称为“30年代最有威力”的统计思想．“序贯分析”系统理论的创始人是著名统计学家沃德（Wald）．他是原籍罗马尼亚的英国统计学家，他于1934年系统发展了早在20年代就受到注意的序贯分析法．沃德在统计方法中引进的“停止规则”的数学描述，是序贯分析的概念基础，并已证明是现代概率论与数理统计学中最富于成果的概念之一．

从二战后到现在，是统计学发展的第三个时期，这是一个在前一段发展的基础上，随着生产和科技的普遍进步，而使这个学科得到飞速发展的一个时期，同时，也出现了不少有待解决的大问题．这一时期的发展可总结如下：

一是在应用上愈来愈广泛，统计学的发展一开始就是应实际的要求，并与实际密切结合的．在二战前，已在生物、农业、医学、社会、经济等方面有不少应用，在工业和科技方面也有一些应用，而后一方面在战后得到了特别引人注目的进展．例如，归纳“统计质量管理”名目下的众多的统计方法，在大规模工业生产中的应用得到了很大的成功，目前已被认为是不可缺少的．统计学应用的广泛性，也可以从下述情况得到印证：

统计学已成为高等学校中许多专业必修的内容；统计学专业的毕业生的人数，以及从事统计学的应用、教学和研究工作的人数的大幅度的增长；有关统计学的著作和期刊杂志的数量的显著增长．

二是统计学理论也取得重大进展．理论上的成就，综合起来大致有两个主要方面：

一个方面与沃德提出的“统计决策理论”，另一方面就是大样本理论．

沃德是20世纪对统计学面貌的改观有重大影响的少数几个统计学家之一．1950年，他发表了题为《统计决策函数》的著作，正式提出了“统计决策理论”．沃德本来的想法，是要把统计学的各分支都统一在“人与大自然的博奕”这个模式下，以便作出统一处理．不过，往后的发展表明，他最初的设想并未取得很大的成功，但却有着两方面的重要影响：

一是沃德把统计推断的后果与经济上的得失联系起来，这使统计方法更直接用到经济性决策的领域；二是沃德理论中所引进的许多概念和问题的新提法，丰富了以往的统计理论．

贝叶斯统计学派的基本思想，源出于英国学者贝叶斯的一项工作，发表于他去世后的1763年后世的学者把它发展为一整套关于统计推断的系统理论．信奉这种理论的统计学者，就组成了贝叶斯学派．这个理论在两个方面与传统理论（即基于概率的频率解释的那个理论）有根本的区别：

一是否定概率的频率的解释，这涉及到与此有关的大量统计概念，而提倡给概率以“主观上的相信程度”这样的解释；二是“先验分布”的使用，先验分布被理解为在抽样前对推断对象的知识的概括．按照贝叶斯学派的观点，样本的作用在于且仅在于对先验分布作修改，而过渡到“后验分布”――其中综合了先验分布中的信息与样本中包含的信息．近几十年来其信奉者愈来愈多，二者之间的争论，是战后时期统计学的一个重要特点．在这种争论中，提出了不少问题促使人们进行研究，其中有的是很根本性的．贝叶斯学派与沃德统计决策理论的联系在于：

这二者的结合，产生“贝叶斯决策理论”，它构成了统计决策理论在实际应用上的主要内容．

三是电子计算机的应用对统计学的影响．这主要在以下几个方面．首先，一些需要大量计算的统计方法，过去因计算工具不行而无法使用，有了计算机，这一切都不成问题．在战后，统计学应用愈来愈广泛，这在相当程度上要归公功于计算机，特别是对高维数据的情况．

计算机的使用对统计学另一方面的影响是：

按传统数理统计学理论，一个统计方法效果如何，甚至一个统计方法如何付诸实施，都有赖于决定某些统计量的分布，而这常常是极困难的．有了计算机，就提供了一个新的途径：

模拟．为了把一个统计方法与其它方法比较，可以选择若干组在应用上有代表性的条件，在这些条件下，通过模拟去比较两个方法的性能如何，然后作出综合分析，这避开了理论上难以解决的难题，有极大的实用意义．

第二篇：

概率论

2012年5月

摘要：

大数定律以严格的数学形式表达了随机现象最根本的性质—平均结果的稳定性，它是概率论中一个非常重要的定律，应用很广泛。

本文介绍了几种常用的大数定律，并分析了它们在理论与实际中的应用。

关键词：

大数定律，收敛，随机变量，不等式，

·lawoflargenumberanditssignificance

Abstract:

Thelawoflargenumberstothestrictmathematicalformofexpressionoftherandomphenomenonismostfundamentalnature-average

1resultsofstabilityinprobabilitytheory,itisaveryimportantlaw,iswidelyused.Thispaperintroducesseveralcommonlawoflargenumbers,andanalyzedthemintheoryandpracticalapplication.

Keywords:

thelawoflargenumbers,convergence,Randomvariable,Inequality

一、引言

在第一章中引入概率的概念时曾经指出，频率是概率的反映，随着观测次数n的增加，频率将会逐渐稳定到概率。

详细地说：

设在一次观测中事件A发生的概率，如果观测了次（也就是一个重伯努利试验），A发生了

，当充分大时，逐渐稳定到

次，则A在次观测中发生的频率量的语言表述，就是：

设

。

若用随机变

表示第次观测中事件A发生次数，即

则因此“为一列独立随机变量，显然稳定于

，从而有

。

，

”，又可表述为次观测结果的平均值稳定于

稳定于现在的问题是：

“稳定”的确切含义是什么？

（1）

是否能写成

2亦即，是否对，

（2）

对所有的样本点都成立？

实际上，我们发现事实并非如此，比如在次观测中事件A发生次还是有可能的，此时

，从而对

，不论N多大，也不可能有

）还是有可能发成立。

就是说，在个别场合下，事件（生的，不过当n很大时，事件（的，有显然，当

。

时，这个概率趋于0，所以“

稳定于

）发生的可能性很小。

例如，对上面

”是意味着

（3）

成立

沿用前面的记号，（3）式可写成

一般地，设

为一列独立随机变量，为常数，如果对任意，有

（4）

（即

），则称

稳定于。

概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。

若将（4）式中的换成常数列定义：

若

，即得大数定律的一般定义。

，

为一列随机变量序列，如果存在常数列使对，有成立，则称随机变量序列服从大数

3定律。

二．几个常用的大数定律

由于随机变量序列向常数的收敛有多种不同的形式，按其收敛为依概率收敛，以概率1收敛或均方收敛，分别有弱大数定律、强大数定律和均方大数定律。

定义1设有一列随机变量h,h1,h2…..，如果对于任意的e>0，有limP（hn-h

定义n®¥2设有随机变量h和一列随机变量{hn}，h1,h2…..，若

a.elimP{hn（w）=h1则称{hn}几乎处处收敛于h，记作hn¾¾®h,（n®¥）}=成立，定义3若x1,x2,××××××xn是随机变量序列,如果存在常数列a1,a2,×××,使得对任意的e>0,有

æ1nölimPçåxi-an

1（5）n®¥èni=1ø成立,则称随机变量序列{xi}满足大数定律.定义4设有随机变量h和随机变量序列{hn}的r阶原点矩Ehr、Ehnr（n=1,2……）存在，其中r>0，若limEhn-h=0则称hnr次平均收敛到h。

记作

n®¥rhn¾¾®h。

r此时必有Ehn=Ehr。

LrL当r=2时是常用的二阶矩，hn¾¾®h称为均方收敛。

2定义5若x1,x2,××××××xn是随机变量序列，它们的数学期望Exi（i=1,2,.....）存在，"e>0有

æ1nö1n

limçåxk-åExk

1（6）

n®¥nnièiø则称随机变量序列x1,x2,××××××xn服从弱大数定律。

4定义6

若x1,x2,××××××xn是随机变量序列，它们的数学期望Exi（i=1,2,.....）存在，"e>0有

1n1nì1nüa.elimxk-åExk¾¾®0，Píå（xk-Exk）=ý0=或等价地1ån®¥niniîniþ则称x1,x2,××××××xn服从强大数定律。

上述两个大数定律要注意，强大数定律和弱大数定律区别不仅仅是一个法则的不同，不能简单的把极限符号lim从概率号P（）中移出来，弱大数

n®¥定律描述的是一列概率的收敛性，而强大数定律说的是一列随机变量收敛到一个常数，也正是这点，保证了用事件出现的频率来作为事件概率的估计的正确性。

定义7对任意的随机变量x，若Ex=a，又Dx存在，则对任意的正常数e，有P（z-a³e）£Dxe2，则称此式为切比雪夫不等式。

粗糙地说，如果Dx越大，那么P（z-a³e）也会大一些。

大数定律形式有很多种，我们仅介绍几种最常用的大数定律。

定理1（伯努利大数定律）设mn是n重伯努利实验中事件A出现的次数，且A在每次试验中出现的概率为p（0

æmö

lim

（7）Pçn-p

当n很大时，n重伯努利试验中事件A发生的频率几乎等于事件A在每次试验中发生的概率，这个定律以严格的数学形式刻画了频率的稳定性，因此，在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件的概率。

定理2（切比雪夫大数定律）设x1,x2,××××××xn是一列两两不相关的随机变量,又设它们的方差有界,即存在常数C>0,使有Dxi£C,i=1,2,3×××，则对于任意的e>0,有

æ1nö1n

limPçåxi-åExi

（8）

n®¥ni=1èni=1ø在上述的定理中，因为用到切比雪夫不等式，都有对方差的要求，其实方差这个条件并不是必要的。

例如独立同分布时的辛钦大数定律

定理3（辛钦大数定律）

设x1,x2,××××××xn是独立同分布的随机变量序列,且

5有有限的数学期望Exi=a（i=1,2×××）,则对于任意的e>0,有

æ1nö

lim

（9）Pçåxi-a

n®¥nni=1ni=1i=1收敛于.

p定理4（泊松大数定律）设x1,x2,××××××xn是相互独立的随机变量序列,

P（xn=1）=pn，P（xn=0）=qn，其中pn+qn=1，则x1,x2,××××××xn服从泊松大数定律。

泊松大数定律是伯努利大数定律的推广，伯努利大数定律证明了事件在完全相同的条件下重复进行的随机试验中频率的稳定性；而泊松定理表明，当独立进行的随机试验的条件变化时，频率仍然具有稳定性：

随着n的无限增大，在n次独立试验中，事件A的频率趋于稳定在各次试验中事件A出现概率的算术平均值附近。

定理5（马尔科夫大数定律）对于随机变量序列x1,x2,××××××xn,若有

1ænöDçåxi÷®0,n®¥2nèi=1ø则有

æ1nö1nlimPçåxi-åExi

三.大数定理典例

例1.已知随机变量X和Y的数学期望、方差以及相关系数分别为E（X）=E（Y）=2,D（X）=1,D（Y）=4,rX,Y=0.5,用切比雪夫不等式估计概率P{X-Y³6}.解：

由于

E（X-Y）=E（X）-E（Y）=0,

6Cov（X,Y）=rX,YD（X）D（Y）=1,D（X-Y）=D（X）+D（Y）-2cov（X,Y）=5-2=3,由切比雪夫不等式，有

P{X-Y³6}=P{（X-Y）-E（X-Y）³6}£=

例2.已知X1,X2,L,Xn,L相互独立且都服从参数为2的指数分布，求当1n2n®¥时，Yn=åXk依概率收敛的极限.nk=111，D（Xk）=，所以

42111E（Xk2）=E2（Xk）+D（Xk）=+=，k=1,2,L，

442由辛钦大数定律，有

D（X-Y）6231==0.0833.3612解：

显然E（Xk）=1n2P1Yn=åXk¾¾®E（Xk2）=.

nk=12

例3.已知随机变量x有数学期望m=Ex，方差s2=Dx。

（1）试用切比雪夫不等式估计概率P{|x-m|<3s}；

（2）在增设r．v．x~N（m,s2）的条件下，计算概率P{|x-m|<3s}。

解：

（1）视3s为e，故由切比雪夫不等式，得

P{|x-m|<3s}³1-Dx/（3s）2=1-1/9=0.8889；

（2）在增设r．v．x~N（m,s2）的条件下，有

P{|x-m|<3s}=P{m-3s

=F（