则称/为该统计决策问题的最小最大决策函数,相应的风险称为最小最大风险。
3.贝叶斯决策准则
1先验信息与先验分布
无论是在统计决策问题还是在统计推断问题中总会包含未知量。
为了对作统计决策或者作统计推断，样本信息是必不可少的，因为它包念的最新信息。
除此之外，一些非样本信息也可用于统计决策和统计推断。
这些非样本信息主要来源于经验或历史资料。
由于此类经验或历史资料大多存在于（获取样本的）试验之前，故称这些非样本信息另先验信息。
统计学中有两个主要学派：
经典（频率）学派与贝叶斯学派。
经典学派认为是未知参数；贝叶斯学派认为是随机变量，应该用一个概率分布去描述的未知状况。
这个概率分布在抽样之前就已存在，它是关号的先验信息的概率陈述。
这个概率分布就称为先验分布，和9）来表示。
2贝叶斯公式与后验分布
称龙（0兀）为0的后验分布。
3先验风险准则与后验风险准则
定义1：
在给定的统计决策问题中，设/?
（e,d）为决策函数〃（•）的风险函数，龙⑹为o的先验分布，则平均风险
3（d）□E&[R（0,d）]=龙（&）d&
0
称为决策d（.）的贝叶斯风险。
若在决策函数类①中存在/（•）,使得B（d*）=infB（d）
de（D
则称/为决策函数类①在贝叶斯（先验）风险准则下的最优决策函数，简称贝叶斯决策函数或贝叶斯解。
定义2：
在给定的统计决策问题中，设UO,d（X））为决策函数d（X）的损失函数皿（&卜）为&的后验分布，则条件期望风险
W|x）DE^[L（0,d（x））]
=jL{6,d（x））7[（P\x）dO
©
称为决策函数d（）的贝叶斯后验风险。
若在决策函数类①中存在/（•）,使得
R（d|x）=infR（d|x）,xe%
则称/为决策函数类①在贝叶斯后验风险准则下的最优决策函数，或称其为贝叶斯后验型决策函数。
例6.1—位收藏家拟收购一幅名画，这幅画标价为5000元。
若这幅画是真品，则值10000元；若是贋品，则一文不值。
此外，买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉，其收益情况如下表
的行动画的状恳、、
买
不买
真品
-3000
贋品
-6000
0
现在，这位收藏家需要决定是买还是不买这幅画？
（1）如果收藏家有以下三种决策可供选择：
心:
以概率0.5买下这幅画；
/：
请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家鉴定为真品就买下这幅画；
仏：
肯定不买
那么，'什么是这位收藏家的最小最大决策？
（2）如果根据卖画者以往的资料得知，q发生的概率为0.75,E发生的概率为0.25,那么这位收藏家是否应买下这幅画呢？
（3）在
（2）的条件下，这位收藏家为稳妥起见，聘请一位鉴赏家做鉴定。
已知鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画。
如果鉴赏家说这幅画是真品，那么这位收藏家是否应买下这幅画呢？
表示“不
这是一个决策问题，状态集®=｛0^02｝为真品，02
为贋品，行动集ARag｝，®表示“买込
军”
'L（O,a）
损失函数用梓阵口脣示为
6000
8000
0
0\
2
统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。
采用收益函数0（0,°）时，损失函数ci）=maxQ（eya）-a）
a^A
采用支付函数W（0,d）时，损失函数L（0.a）=W（0,a）-minW（0,a）aeA
解：
（1）对d],/?
（q，a）=0x0.5+80050.5=4000
R（O2,dJ=6000x0.5+Ox0.5=300C
对d?
，/?
（q,d?
）=0x0.95+8000x0.05=400R（O2,J2）=6000k0.3+Ox0.7=1800
对,dJ=0X0+80081=8000
务
■0
L=
6000
800010、
尺（&2‘〃3）=6000xO+Ox1=0max（0,dJ=max（4（XX）,3（XX）}=4（XX）
（&,〃2）=max{400J800）=1800
mjDL（0,dJ=max{8000,0}=8000
inf
supR（O.d）
0e®
=min{400Ql80Q800（|=1800
计算结果农叨，收藏家的最小最人决策为d“即如果鉴赏家鉴定为真品就买下这幅画，这-决策的报小瑕大风险为1@00元。
（2）由题意知，&的先齡分布力（0）为：
e
q
&2
71
0.75
0.25
根据先验分布兀⑹,町分别篦出行动6^2的平均损失，亦即，行动①的平均风险，因为这是无数据决策问题，所以
爲[厶（&aJ]=0x0.75+6000x0.25=1500
瑞@勺）]=8000x0.75+0x0.25=6000
对比上述结果町知，采取行动务为上策，即，收藏家应该买下这幅画。
（3）引入随机变量
7'
若鉴赏家识别为真画
若鉴赏家识别为假画
由题意知：
P{X=lp1}=0.95
P{X=l|@}=0.3
P[X=^}=0.05
P{X=q@}=0.7
郎J先验分M⑹为力©）=0.75,笊0,）=0.25,由贝叶斯公式可得0的后验分布
心⑴=「0恥"如“9048
f"）P{X=10}
J=i
W1）=〃（①BX=g}Ro0952
E〃©）F{X=10.}
f”0）P{X=O0}
7=«
”（如0）=2羽®）尸{X=0©}「0.8235
f”©）尸{X=O0.}
这样样木空间＜H=｛1,（）｝,行动空间駕卩,4｝所以决策函数只有以下4个
£M=｛仁
刀2（乂）=｛；黑；〔。
d3（x）=ax,\/xeH
d4（x）=a2,\/xEH
这样本值."1时，这些决策函数的贝叶斯后验风险分别是：
尺（4卩）=E即[乙（°，呼1））]
=0.9048x0+6000x0952=571.2
MJ2|1）=E^[L（aJ2（l））]
=8（X）（）x0.9048+0x（）：
952=7238.4
/?
（t/3|l）=E^[L（6>,J3（l））]
=0x0.9048+6000x0仍2=571.2
MJ4|1）=E6?
1[L（0,J4（l））]
=8000x0.9048+0x0*952=7238.4
在x=0时，这些决策函数的贝叶斯后风险分别足：
尺（4|0）=%』"0,£（（）））]
=8（X）0x0.1756+0x0.8235=1412|0）=E^（）[L（aJ2（0））]
=0x（）.1756+6（XX）x0.8235=4941g|0）却£（0,仏（0））]
=0x0.1756+6000x0.8235=4941
/?
（J4|0）=E
1„[L（aJ4（0））]
=8000x0.1756+0x0.8235=1412
可见在贝叶斯风险准则下，£（•）是最优决策函数，换言之，当鉴定家说这幅画是真品时，这位收藏家应买下这幅画。
下面计算（3）中那些决策函数的贝叶斯风险，先算X的边缘分布：
2
加⑴=£”（0）P{X=11q}=0.7875
>1
2
加
（2）=£兀（0）P{X=010}=0.2125
J=1
从而，
B（dJ=ExIX）]=571.2x0.78754-1412x0.2125=749.87
〃（〃2）=6750.202B（dJ=1499.782=6（XX）.29
由此可见，在贝叶斯风险准则下的最优决策函数仍是/（•）,在两种不同风险准则下得出相同的最优决策函数，其理论依据是定理6.1.1.
定理6/1.1对给定的统计决策问题（含给定的先验分布）和决策函数类©,若贝叶斯风险满足条件
infB（d）则贝叶斯决策函数/（•）与贝叶斯后验型决策函数厂（・）等价。
6.2贝叶斯推断
在经典统计学中，总体X的分布函数用F（x;&）表示,
其中表示未知参数，©表示参数空间。
F（x;&）改写为F{x\O
经典统计学并不产生彳壬何实质上的影响，仅仅是记号的变更。
/
Bayes统计中意义就不同了，其表示条件分布。
定义6・1若函数h{x}和g（x）相比仅差一个常数因子，则称力O）为g（X）的核，记为
Kx）ocg（x）
例如
正态分布V（”,b2）的核是exp{-X-号）-},-oo均匀分T\iU（a,b）的核是1,a厂（a,2）分布的核是严一怙"，x>0
按照上述观点，对6的后验分布兀（0lx）而言，有
龙（&lx）oc;r（&）p（&lx）
pCfiLLxL^
样本分布p（x\0）=Y[f（xi\O）其中/（兀|&）为总体x的条件概率密,度。
贝叶斯学派认为，&的后验分布龙（&1兀）集先验信息和样本信息于一身，包含了&的所有可供利用的信息，所以有关&的点估计，区间估计和假设检验等统计推断都要基于后验分布来进行。
一.贝叶斯估计
1、点估计
定义设总体X的分布函数为尺*）,其中参数〃为具有先验分椰⑹的随机变量，又设X=（X|,…,X”）7为来自总体的样本。
若在决策函数类①中有一个/（•）,使得
/?
（/）=infB（d）
de（D
则称/（X）为&的贝叶斯估计量
贝叶斯估计量就是贝叶斯决策函数（贝叶斯解）
定理若损失函数为乙⑹d）=（&-且E（&-d（X））2V8,
则0的贝叶斯估计为
J（x）=E（6>|x）=J&7u{0\x）d0nE&㈣
®
其中祕&卜）为0的后验概率密度。
注：
由定理可知，当使用平方损失函数L（0,d）=（0-d）2时，&的贝叶斯估计为E（&卜）（或喺（&））,即&的后验分布的期望，故称这种估计为后验期望估计。
例1设总体X的分布为乂仏口"（从1）,其中未知量“为随机变量，且“2（0,1）,兀=3宀,…,£）7为来自总体X的样本值，求“的贝叶斯估计。
解:
因为“的后验概率密度的核是
龙（“卜）0C兀（“）p（兀同
n
-辽（屛一“卩
0C幺丁•€I
0C“針“一爲）2
可见，在样本x=兀的条件下，“的条件分布为川兀口N（罕，亠）
n+1n+1
所以，“的贝叶斯估计为
“砂卜）二花
n+\
2、区间估计
定义设参数&的后验分布为兀（0卜），对给定的样本X和概率l-a（Ovav1）,若存雇区域D满足下列条件：
（1）P（OeD\x）=^7r{0\x）dO>\-a
D
（2）任给qwD,&2@D,总有兀©|x）>兀⑹卜），则称D是&的可信水平为l-Q的最大后验密度可信域。
当〃是一维的且D是一个区间时，称D为&的I最大后验密度可信区间。
条件
（1）.
（2）表明，D集中了后验概率密度取值
尽可能大的点，因此0的最大后验密度可信区间就是在同一可信概率下长度最短的区间。
例2设X=（X|,X2，・・・,X”）％来自正态分布N（“q2）的样本,其中/已知。
又设“的先验分布为正态分布Wo^o2）,其审“o，b：
为已知，求“的可信区间。
解：
因为“的后验概率密度
兀（“卜）5（“）P（彳“）
oce"J
（“-“卩
oce2b
其中"（竽+绚）/（笃+A）,宀（爲+4尸
可见兀（门劝是正态分布"（/，），因此对给定的l-a,查得标准正态分布N（O,1）的上侧分位数俊,使
P{|-1<“%|x}=\-a
于是，“的1-a最大后验可信区间是（a-b/z%,a+/v仅）。
3、贝叶斯假设检验
利用后验分布兀（牛），分别计算假设血与a的后验概率。
e=P（^|x）,z=0,1
（Ho：
Bw%H\:
納）
当后验概率比％/y>1时接受仏；当％/“v1时拒绝H。
;当ajcc.«1时，则不宜匆忙做判断，需进一步抽样或搜集更多的先验信息。
例3设从正态总体皿“,1）中随机地抽取了一个容量为10的样本X,算得样本均值元=1・5,又设"的先验分布为正态分布N（0.5,2）,现在检验如下假设
//（）:
//<1;H]:
〃>1
解由例2可知，“的后验分布仍为正态分布，且
“卜「N（a,b2）
直中nx“0、/.n1.10x1.5+0.5x0.5〔.
基干o=（p+铐）/（飞+-y）=————-1.4524
cr~弔/<7~erg10+0.5
庆=（二+-4）-*=—!
—«0.30862
cr応10+0.5
因而假设H（）与H｝的后验概率分别为
1_14524
创=77（//O.JUoo
a,=p（//>l|x）=l-0.0713=0.9287
两后验概率之比
勺=00713«0.0768匕0.9287
故拒绝弘，即认为正态均值大于1。
贝叶斯检验的特点：
（1）简单易行，无需选择检验统计量，确定抽样分布；
（2）无需事先给定显著水平，确定检验问题的扌巨绝域.
（3）'容易推广到多重假设检验场合。
二.先验分布的选取
从前面的介绍可以看到，贝叶斯推断是基于后验分布的推断，而根据贝叶斯公式，后验分布又有赖于先验分布的选取，选择不同的分布作为。
的見验分布将会影响&的后验分布，从而将够响到贝叶斯推断的结果，所以先验分布的选取对于贝叶斯推断是至关重要的。
1、贝叶斯假设
贝叶斯学派认为，如果没有以往的任何信息来确定未知量0的先验分布，那么就用均匀分布作为它的先验分布，这种确定先验分布的原则称为贝叶斯假设。
按此原则选取的先验分布也称为无信息先验分布。
2、共辄先验分布
后验分布在贝叶斯推断中起着重要作用，但有时计算后验分布是一件比较复杂的事情。
为了能够简便地计算未知量〃的后验分布，引入共辄先验分布的概念。
定义设总体X的分布函数为F（xp）,样本X],…,X”对9的条件分布为P3,…，兀|0）,即样本分布〃（x|&）,0的先验分布为兀（&）,若由龙（。
）和卩（恥）决定的后验分布⑦（0|x）与兀（&）是同一个类型，则称先验分布r（&）为P（X0）的共辄先验分布。
寻找共辄先验分布的步骤：
（1）先写出样本分布P（x\O）=L（O）似然，
（2）选取与厶⑹具有相同核的分布作为先验分布，这个分布往往就是共辄先验分布.
升级会员 