正态分布的完美.docx

正态分布的完美.docx

《正态分布的完美.docx》由会员分享，可在线阅读，更多相关《正态分布的完美.docx（12页珍藏版）》请在冰豆网上搜索。

正态分布的完美

正态分布的完美

正态分布又名高斯分布，是一个在数学，物理及工程等领域都非常重要的概率分布，在统计学的许多方面都有着重大的影响力。

许多随机现象中的随机变量都近似服从正态分布。

因此，正态分布的魅力让我深深地着迷，它吸引着我对其来源与性质做了以下探究和总结。

正态分布的首次面世，是由A.棣莫弗在求二项分布的渐近公式中得到，而正态分布概念却是由德国的数学家和天文学家Moivre于1733年首次提出的，但是后世却把正态分布的发明权归功与高斯。

因此，可以说正态分布具有传奇性的出生。

C.F.高斯在研究测量误差时从另一个角度导出了它，P.S.拉普拉斯和高斯研究了它的性质。

高斯这项工作对后世的影响极大，他使正态分布同时有了“高斯分布”的名称，后世之所以多将最小二乘法的发明权归之于他，也是出于这一工作。

以至于现今德国10马克钞票，其上还印有正态分布

的密度曲线。

这传达了一种想法：

在高斯的一切科学贡献中，其对人类文明影响最大者，就是这一项。

高斯

1809年，高斯（CarlFriedrichGauss，1777—1855）发表了其数学和天体力学的名著《绕日天体运动的理论》。

在此书末尾，他写了一节有关“数据结合”（datacombination）的问题，实际涉及的就是这个误差分布的确定问题。

设真值为

，

个独立测量值为

。

高斯把后者的概率取为     

其中

为待定的误差密度函数。

到此为止他的做法与拉普拉斯相同。

但在往下进行时，他提出了两个创新的想法。

一是他不采取贝叶斯式的推理方式，而径直把最大的

作为

的估计，即使

成立的

。

现在我们把

称为样本

，参数

的似然函数，

是

的极大似然估计量。

这个称呼是追随费歇尔，因为他在1912年发表的一篇文章中，明确提到以上概念并非针对一般参数的情形。

高斯的第二点创新的想法是：

他把问题倒过来，先承认算术平均

是应取的估计，然后去找误差密度函数

以迎合这一点，即找这样的

使

就是

。

高斯证明了：

这只有在

条件下才能成立，这里

为常数，这就是正态分布

。

下面给出正态分布的标准定义：

若随机变量X的概率密度为

-∞

其中-∞<μ<+∞，σ>0为常数，则称X服从参数为μ，

的正态分布，记为X?

N（μ，

）。

X的分布函数为

利用

，可以证明

=1，事实上

令

，则

正态分布密度函数f（x）具有以下几何特性：

1、最大值在x=μ处，最大值为

；

2、曲线y=f（x）关于直线x=μ对称，于是对于任意h>0,有

3、曲线f（x）在x=μ?

σ处有拐点；

4、当x→?

∞时，曲线y=f（x）以x轴为渐近线。

另外，当σ固定，改变μ的值，y=f（x）的图形沿Ox轴平移而不改变形状，故μ又称为位置参数。

若μ固定，而改变σ的值，y=f（x）的图形的形状随σ的增大而变得平坦。

因而σ越小，X落在μ附近的概率越大。

正如许多分布一样，正态分布可以有许多变形，比如说下面将要讨论的正态随机变量函数分布。

设随机变量X?

N（μ，

），现考虑Y=aX+b（a≠0）的概率密度fY（y）。

fY（y）=

fX（

）=

 -∞

即有

Y=aX+b?

N（aμ+b,a2

）

特别的，取a=

b=

得

N（0,1）

通过上面那个式子我们可以将任意一个正态分布转化成标准正态分布，然后通过查标准正态分布表获得概率分布。

因此上式为我们提供了求一般正态分布的概率分布的途径。

所以正态分布应用方便。

概率分布的平均值与偏离程度是刻画随机变量性质的两类重要数字特征。

刻画随机变量性质的数字特征无论是理论上还是实践上都具有十分重要的意义。

下面让我们来看看正态分布的数字特征。

首先让我们来看看正态分布的期望：

令

便得

=

=μ

正态分布的数学期望竟然是μ！

这多么让人兴奋！

看似复杂的分布函数却隐藏着如此简单的期望值。

如果这还不能说明正态分布的奇妙，那让我们再来看看正态分布的方差：

令

，则有

=

=

这说明正态分布N（μ，

）中的两个参数μ和

分别是正态分布的均值和方差。

还可以看出μ和

的概率意义和几何意义是相符的。

另一方面，表达式如此简单的方差与期望，毫无疑问在揭示着什么。

下面我们来看看为什么正态分布这么特殊？

从正态分布的来源我们可以看出正态分布是在研究数据之间的关系中得到的，也就是说正态分布是数据中的规律。

中心极限定理指出，大量相互独立随机变量之和（在每个随机变量对总和的影响都很小的条件下）近似服从正态分布。

正因如此，许多随机现象中的随机变量都近似服从正态分布。

下面给出独立同分布的中心极限定理及其证明过程。

独立同分布的中心极限定理：

设随机变量序列{

}，n=1,2,…独立同分布，且具有有限的期望和方差，

i=1,2,…,则随机变量

的分布函数

，对于任意实数x,有

也即{

}服从中心极限定理。

证明 设Ψ（t）为

-μ的特征函数，i=1,2,…,考虑到E（

-μ）=0,E

=D（

）=

，可得Ψ（t）在t=0处展开为

由特征函数的性质知，

的特征函数为Ψ（

），则有

若

的特征函数为

，则由独立性知

（n→∞）

而

正是标准正态分布的特征函数，有特征函数的性质知

的分布函数Ф（x），即对于任意实数x,有

另一方面，林德贝格中心极限定理表明，只要

中每一项都在概率意义下均匀的小，则

服从中心极限定理。

所以由大量微小的而且相互独立的随机因素引起并累加而成的量，必将是一个正态随机变量。

所以正态分布是大自然中数据规律的客观存在，自然界是如此美妙，因此正态分布的期望和方差才如此的简单。

大量的数据，竟然能够仅仅通过μ和σ两个参数来描述，期间似乎暗示着尽管大自然丰富多彩，但是却可以通过简简单单的数学式子抽象出来，数学如此，物理也如此，这或许就是科学的本质。

科学的发展有一个大趋势，那就是多元化，当人们能处理一个问题的时候总是想通过这个问题解决更多的问题。

当人们能够处理一个变量的问题时，以实用为目的和充满探索精神的科学家们就把眼观放在了多个变量的问题上。

于是，多维随机变量及其分布的问题就出现了。

由于对于二维随机向量和二维以上的随机向量的讨论没有本质上的差异，所以我们下面主要总结二维正态分布的性质。

对于n维情况，所有结论都可以从二维平行地推广。

下面给出二维正态分布的标准定义

若（X,Y）的概率密度为:

其中-∞<μ1<+∞,-∞<μ2<+∞,σ1>0,σ2>0,-1<ρ<1,则称（X,Y）服从二维正态分布，记为（X,Y）?

N（μ1,μ2,σ12,σ22,ρ）。

边缘分布是联合分布的重要性质，下面对二维正态分布的边缘分布密度进行讨论。

（X,Y）关于X的边缘概率密度为：

由于

于是

令

则有

同理

可见X?

N（μ1,σ12）,Y?

（μ2,σ22），即二维正态分布的两个边缘分布都是一维正态分布，并且不依赖于参数ρ。

对于给定的μ1,μ2,σ12,σ22,不同的ρ对应不同的二维正态分布，它们的边缘分布却都是一样的。

这好像表达了一个二维正态分布是由两个一维正态分布通过参数ρ在一定规则下联合而成的。

至于这个“ρ”到底代表什么？

ρ与两个一维正态分布究竟是什么关系呢？

对于多维向量，每一个分量都是一维随机变量，既然存在多个变量，那么它们之间就会有关系，下面我们通过协方差和相关系数来分析二维正态分布。

设（X,Y）?

N（μ1,μ2,σ12,σ22,ρ），下面我们来求其相关系数

=

令x-

=t，得

=

=

=

所以

ρ的秘密原来藏在这，ρ是二维正态分布两变量的相关系数。

同时也正因如此，对于服从二维正态分布的随机向量（X,Y）来说，X与Y不相关与X与Y相互独立是等价的。

这又是一个简单的式子，在二维随机变量中，正态分布在继续自己的神奇。

正态分布的性质能不断让人惊叹它的完美，让人惊叹自然界的完美。

它应用面广，而且应用方便，它的数字特征那么简易，这就是完美，这是高斯的伟大，也是人类文明进步的标志。