贝叶斯统计学1.ppt

贝叶斯统计学1.ppt

《贝叶斯统计学1.ppt》由会员分享，可在线阅读，更多相关《贝叶斯统计学1.ppt（100页珍藏版）》请在冰豆网上搜索。

同学们好！

欢迎大家学习贝叶斯统计学！

贝叶斯统计学贝叶斯统计学贝叶斯统计简介：

贝叶斯统计是英国统计学家贝叶斯贝叶斯统计是英国统计学家贝叶斯（1702170217611761）首先提出的。

贝叶斯统计是在与经典统计理论）首先提出的。

贝叶斯统计是在与经典统计理论的长期争论中发展起来的。

形成了两大重要的统计学派（贝派的长期争论中发展起来的。

形成了两大重要的统计学派（贝派和频派）。

贝叶斯统计主要在统计决策理论中应用广泛。

尽管和频派）。

贝叶斯统计主要在统计决策理论中应用广泛。

尽管很早就产生贝叶斯统计，但它真正得到发展是二次世界大战以很早就产生贝叶斯统计，但它真正得到发展是二次世界大战以后，特别是上个世纪初。

后，特别是上个世纪初。

学习的目的：

介绍贝叶斯统计的基本思想和基本方法，给介绍贝叶斯统计的基本思想和基本方法，给学生提供一种新的统计思维方式，丰富统计知识学生提供一种新的统计思维方式，丰富统计知识-锦上添锦上添花。

同时提供一种研究实际统计问题的新方法。

花。

同时提供一种研究实际统计问题的新方法。

学习方法：

以概率论为基础，系统学习。

注重方法的基本以概率论为基础，系统学习。

注重方法的基本思想和原理。

学会运用有关工具，加强练习。

思想和原理。

学会运用有关工具，加强练习。

教学计划安排：

重点介绍重点介绍1133章（原理），适当介绍章（原理），适当介绍4455章。

章。

第一章第一章先验分布与后验分布先验分布与后验分布nn1.1三种信息三种信息（总体信息、样本信息和先验信息总体信息、样本信息和先验信息总体信息、样本信息和先验信息总体信息、样本信息和先验信息）nn1.2贝叶斯公式贝叶斯公式（事件形式和密度函数形式事件形式和密度函数形式事件形式和密度函数形式事件形式和密度函数形式）nn1.3共轭先验分布共轭先验分布nn1.4超参数及其确定超参数及其确定nn1.5多参数模型多参数模型nn1.6充分统计量充分统计量1.1三种信息三种信息nn三种信息及对应的统计分科三种信息及对应的统计分科nn贝叶斯统计与经典统计的主要区别贝叶斯统计与经典统计的主要区别1.三种信息及对应的统计分科n总体信息：

是人们对总体的了解，所带来的有关信息，总体信息包括总体分布或者总体分布族的有关信息。

例如：

“总体属于正态分布”、“它的密度函数是钟型曲线”等等。

n样本信息：

是通过样本而给我们提供的有关信息。

这类“信息”是最具价值和与实际联系最紧密的信息。

人们总是希望这类信息越多越好。

样本信息越多一般对总体推断越准确。

n基于以上两种信息所作出的统计推断被称为经典统计。

其特征主要是：

把样本数据看成是来自具有一定概率分布的总体，所研究的对象是总体，而不是立足与数据本身。

n事实上，在现实活动中，还有一类信息可以用来进行统计推断-先验信息。

n先验信息：

是在抽样之前有关所要研究的问题的一些信息。

来源于经验和历史资料的总结。

先验信息是现实活动中一种有用的信息应该加以充分利用，但经典统计忽视了，对于统计推断是一个损失。

n利用先验信息进行统计推断的统计理论就是贝叶斯统计。

例11英国统计学家Savage（1961）曾考察如下二个统计实验：

A一位常饮牛奶加茶的妇女声称，她能辨别先倒进杯子里的是茶还是牛奶。

对此做了十次试验，她都正确地说出了。

B一位音乐家声称，他能从一页乐谱辨别出是海顿（Haydn）还是莫扎特（Mozart）的作品。

在十次这样的试验中，他都能正确辨别。

在这两个统计试验中，假如认为被实验者是在猜测，每次成功概率为05，那么十次都猜中的概率为（2的负十次方）2-1000009766，这是一个很小的概率，是几乎不可能发生的，所以“每次成功概率为o5”的假设应被拒绝。

被实验者每次成功概率要比o5大得多。

这就不是猜测，而是他们的经验经验在帮了他们的忙。

可见经验（先验信息的一种）在推断中不可忽视，应加以利用。

例12“免检产品”是怎样决定的?

某厂的产品每天都要抽检几件，获得不合格品率的估计。

经过一段时间后就积累大量的资料，根据这些历史资料（先验信息的一种）对过去产品的不合格率可构造一个分布：

P（P（i/n）=i/n）=iiii=0,1,2.n=0,1,2.n这个对先验信息进行加工获得的分布今后称为先验分布。

这个先验分布是综合了该厂过去产品的质量情况。

如果这个分布的概率绝大部分集中在0附近，那该产品可认为是“信得过产品”。

假如以后的多次抽检结果与历史资料提供的先验分布是一致的。

使用单位就可以对它作出“免检产品”的决定，或者每月抽检一、二次就足够了，这就省去了大量的人力与物力。

可见历史资料在统计推断中应加以利用。

2.贝叶斯统计与经典统计主要区别贝叶斯统计与经典统计主要区别

（1）统计推断所依据信息不同）统计推断所依据信息不同

（2）对总体参数的认识不同）对总体参数的认识不同（3）对概率的理解不同）对概率的理解不同（4）对样本利用方式上不同）对样本利用方式上不同（5）应用领域不同）应用领域不同1.2贝叶斯公式贝叶斯公式nn事件形式的贝叶斯公式事件形式的贝叶斯公式nn密度函数形式贝叶斯公式密度函数形式贝叶斯公式nn贝叶斯统计学派主要观点贝叶斯统计学派主要观点nn后验分布及其与三种信息的关系后验分布及其与三种信息的关系1.事件形式的贝叶斯公式事件形式的贝叶斯公式nn

（1）全概公式）全概公式：

设有事件设有事件设有事件设有事件AA只能与一完备事件组只能与一完备事件组只能与一完备事件组只能与一完备事件组中之一事件同时发生，则事件中之一事件同时发生，则事件中之一事件同时发生，则事件中之一事件同时发生，则事件AA出现的出现的出现的出现的概率概率概率概率称上式为全概公式。

称上式为全概公式。

称上式为全概公式。

称上式为全概公式。

nn

（2）贝叶斯公式）贝叶斯公式：

设有事件设有事件设有事件设有事件AA只能与一完备事件组只能与一完备事件组只能与一完备事件组只能与一完备事件组中之一事件同时发生，则事件中之一事件同时发生，则事件中之一事件同时发生，则事件中之一事件同时发生，则事件AA发生的发生的发生的发生的条件下条件下条件下条件下发生的概率发生的概率发生的概率发生的概率-称之为贝叶斯公式称之为贝叶斯公式称之为贝叶斯公式称之为贝叶斯公式m=1.nm=1.n2.密度函数形式的贝叶斯公式密度函数形式的贝叶斯公式nn定定定定义义义义设设设设在在在在给给给给定定定定样样样样本本本本xx后后后后，的的的的后后后后验验验验分分分分布布布布为为为为，它它它它是是是是给给给给定定定定样样样样本本本本观测值观测值观测值观测值xx后的条件分布。

若又设后的条件分布。

若又设后的条件分布。

若又设后的条件分布。

若又设和和和和xx具有联合密度具有联合密度具有联合密度具有联合密度（xx为样本，下同为样本，下同为样本，下同为样本，下同）其中，其中，其中，其中，为为为为的先验分布。

的先验分布。

的先验分布。

的先验分布。

xx的边缘密度（边际密度）为的边缘密度（边际密度）为的边缘密度（边际密度）为的边缘密度（边际密度）为（为连续随机变量为连续随机变量为连续随机变量为连续随机变量）（为离散随机变量上式求和为离散随机变量上式求和为离散随机变量上式求和为离散随机变量上式求和）显然，显然，显然，显然，的后验分布为（的后验分布为（的后验分布为（的后验分布为（m（x）m（x）00）nn称此为贝叶斯公式的密度函数形式。

称此为贝叶斯公式的密度函数形式。

称此为贝叶斯公式的密度函数形式。

称此为贝叶斯公式的密度函数形式。

3.贝叶斯学派主要认识贝叶斯学派主要认识nn

（1）贝叶斯统计中）贝叶斯统计中表示表示给定时，某值给定时，某值x的的条件分布。

条件分布。

nn

（2）根据参数的先验信息确定的分布就是先）根据参数的先验信息确定的分布就是先验分布验分布nn（33）从贝叶斯观点来看，样本一般分两步进）从贝叶斯观点来看，样本一般分两步进行，首先从行，首先从产生一个产生一个，第二步是在分布第二步是在分布产生一个样本。

产生一个样本。

nn（4）样本似然函数为）样本似然函数为nn（5）h将三种信息综合进去了。

将三种信息综合进去了。

nn（6）是将是将h中与中与无关即我们研究的问无关即我们研究的问题无关的信息消除。

基于后验分布作出推断。

题无关的信息消除。

基于后验分布作出推断。

4.后验分布与三种信息的关系后验分布与三种信息的关系nn后验分布是利用总体信息、样本信息和先验信息进行后验分布是利用总体信息、样本信息和先验信息进行后验分布是利用总体信息、样本信息和先验信息进行后验分布是利用总体信息、样本信息和先验信息进行综合处理（去粗取精）得到后验信息（即后验分布）综合处理（去粗取精）得到后验信息（即后验分布）综合处理（去粗取精）得到后验信息（即后验分布）综合处理（去粗取精）得到后验信息（即后验分布）的过程。

贝叶斯统计可就是以后验分布为基础的统计的过程。

贝叶斯统计可就是以后验分布为基础的统计的过程。

贝叶斯统计可就是以后验分布为基础的统计的过程。

贝叶斯统计可就是以后验分布为基础的统计学。

学。

学。

学。

nn对理解后验分布，可以这样看：

事先人们对总体和对理解后验分布，可以这样看：

事先人们对总体和对理解后验分布，可以这样看：

事先人们对总体和对理解后验分布，可以这样看：

事先人们对总体和有有有有一个初步的经验的认识这就是一个初步的经验的认识这就是一个初步的经验的认识这就是一个初步的经验的认识这就是，当样本取得以后，当样本取得以后，当样本取得以后，当样本取得以后，根据样本的根据样本的根据样本的根据样本的“鲜活鲜活鲜活鲜活”信息调整人们事先对总体和参数信息调整人们事先对总体和参数信息调整人们事先对总体和参数信息调整人们事先对总体和参数的的的的认识，得到后验分布认识，得到后验分布认识，得到后验分布认识，得到后验分布，贝叶斯统计再根据后，贝叶斯统计再根据后，贝叶斯统计再根据后，贝叶斯统计再根据后验分布进行估计推断。

验分布进行估计推断。

验分布进行估计推断。

验分布进行估计推断。

nn对样本理解：

样本在没有抽选之前，与经典统计一样，对样本理解：

样本在没有抽选之前，与经典统计一样，对样本理解：

样本在没有抽选之前，与经典统计一样，对样本理解：

样本在没有抽选之前，与经典统计一样，抽样过程是随机的（样本值是随机变量），但一旦抽抽样过程是随机的（样本值是随机变量），但一旦抽抽样过程是随机的（样本值是随机变量），但一旦抽抽样过程是随机的（样本值是随机变量），但一旦抽中就将其看作是总体的代表，而且提供的信息是总体中就将其看作是总体的代表，而且提供的信息是总体中就将其看作是总体的代表，而且提供的信息是总体中就将其看作是总体的代表，而且提供的信息是总体特征的反映，可以以此为基础影响统计推断。

特征的反映，可以以此为基础影响统计推断。

特征的反映，可以以此为基础影响统计推断。

特征的反映，可以以此为基础影响统计推断。

例：

例：

设事件设事件A发生发生的概率为的概率为，即，即（A）。

为了估计为了估计而作而作n次独立观次独立观察。

其中，事件察。

其中，事件A出现次数为出现次数为X，显显然，然，X服从二项分布服从二项分布b（n,）即即（x=0,1,2,.nx=0,1,2,.n）若取若取的先验分布为（的先验分布为（0,1）上的均）上的均匀分布，试求匀分布，试求的后验分布。

的后验分布。

解：

解：

由于取由于取先验分布先验分布为（为（0,1）上的均匀分布，）上的均匀分布，即即所以，利用贝叶斯公式，将抽样信息和先验所以，利用贝叶斯公式，将抽样信息和先验信息进行综合。

为此，计算样本信息进行综合。

为此，计算样本x和参数和参数的的联合分布联合分布：

（x=0,1,2x=0,1,2nn。

0011）由此，由此，x的的边缘分布边缘分布为为所以后验密度为所以后验密度为贝塔分布贝塔分布,记为记为/xBe（x+1,n-x+1）由此可见，后验分布只不过是样本信息出现以后人们对总体认识的一种合理调整，因为我们现在得到了“新鲜”样本信息。

在调整的过程中，样本信息、总体信息和先验信息都以不同的方式影响着后验