贝叶斯分析.docx
《贝叶斯分析.docx》由会员分享，可在线阅读，更多相关《贝叶斯分析.docx（16页珍藏版）》请在冰豆网上搜索。
贝叶斯分析
Documentserialnumber【KKGB-LBS98YT-BS8CB-BSUT-BST108】
贝叶斯分析
第四章贝叶斯分析
BayeseanAnalysis
§引言
一、决策问题的表格表示——损失矩阵
对无观察（No-data）问题a=δ
可用表格（损失矩阵）替代决策树来描述决策问题的后果（损失）:
…
…
π（）
…
π（）
…
π（）
或
π（）
…
π（）
…
π（）
…
…
损失矩阵直观、运算方便
二、决策原则
通常，要根据某种原则来选择决策规则δ，使结果最优（或满意），这种原则就叫决策原则，贝叶斯分析的决策原则是使期望效用极大。
本章在介绍贝叶斯分析以前先介绍芙他决策原则。
三、决策问题的分类：
1.不确定型（非确定型）
自然状态不确定,且各种状态的概率无法估计.
2.风险型
自然状态不确定,但各种状态的概率可以估计.
四、按状态优于：
≤"I,且至少对某个i严格不等式成立,则称行动按状态优于
§不确定型决策问题
一、极小化极大（wald）原则（法则、准则）
l（,）或
例:
10
8
7
9
4
1
9
2
13
16
12
14
6
9
8
10
各行动最大损失:
13161214
其中损失最小的损失对应于行动.
采用该原则者极端保守,是悲观主义者,认为老天总跟自己作对.
二、极小化极小
l（,）或
例:
10
8
7
9
4
1
9
2
13
16
12
14
6
9
8
10
各行动最小损失:
4172
其中损失最小的是行动.
采用该原则者极端冒险，是乐观主义者，认为总能撞大运。
三、Hurwitz准则
上两法的折衷，取乐观系数入
［λl（,）＋（1－λ〕l（,）］
例如λ=时
λ:
21
（1－λ〕:
867
两者之和：
8
其中损失最小的是：
行动
四、等概率准则（Laplace）
用来评价行动的优劣
选
上例：
:
33343635其中行动的损失最小
五、后梅值极小化极大准则（svage-Niehans）
定义后梅值=-
其中为自然状态为时采取不同行动时的最小损失.
构成后梅值（机会成本）矩阵S={},使后梅值极小化极大,即:
例:
损失矩阵同上,后梅值矩阵为:
3102
3081
1402
0324
各种行动的最大后梅值为:
3484
其中行动a1的最大后梅值最小,所以按后梅值极小化极大准则应采取行动1.
六、Krelle准则：
使损失是效用的负数（后果的效用化）,再用等概率（Laplace）准则.
七、莫尔诺（Molnor）对理想决策准则的要求（1954）
1.能把方案或行动排居完全序；
2.优劣次序与行动及状态的编号无关；
3.若行动按状态优于，则应有优于；
4.无关方案独立性：
已经考虑过的若干行动的优劣不因增加新的行动而改变；
5.在损失矩阵的任一行中各元素加同一常数时，各行动间的优劣次序不变；
6.在损失矩阵中添加一行，这一行与原矩阵中的某行相同，则各行动的优劣次序不变。
§风险型决策问题的决策原则
一、最大可能值准则
令π（）=maxπ（）
选使l（,）=l（,）
例：
π（）
7
6
3
4
5
4
1
0
π（）概率最大,各行动损失为345
∴应选行动
二、贝叶斯原则
使期望损失极小：
{l（,）π（）}
上例中,各行动的期望损失分别为,对应于的期望损失最小
∴应选.
三、贝努利原则
损失函数取后果效用的负值,再用Bayes原则求最优行动.
四、E—V（均值—方差）准则
若≤且则优于
通常不存在这样的
上例中:
E
V（）
不存在符合E—V准则的行动,这时可采用f（μ,σ）的值来判断（μ为效益型后果的期望）
ìμ-ασ
f（μ，σ）=íμ-ασ
?
μ-α（μ+σ）
f越大越优.
五、不完全信息情况下的决策原则（Hodges-Lehmann原则）
状态概率分布不可靠时,可采用:
φ（）=λ+i=1,2,…,mj=1,2,…,n
φ越大越优.
§贝叶斯定理
一、条件概率
、B为随机试验E中的两个事件
P（A｜B）=P（AB）/P（B）
由全概率公式:
j=1,2,…,n是样本空间的一个划分,
P（B）=P（B|）P（）
得Bayes公式
P（|B）=P（B|）·P（）/P（B）
=P（B|）·P（）/P（B|）P（）
2.对Θ,Χ两个随机变量
·条件概率密度
f（θ|x）=f（x|θ）f（θ）/f（x）
·在主观概率论中
π（θ|x）=f（x|θ）π（θ）/m（x）
其中：
π（θ）是θ的先验概率密度函数
f（x｜θ）是θ出现时，x的条件概率密度,又称似然函数.
m（x）是x的边缘密度,或称预测密度.
m（x）=f（x|θ）π（θ）dθ
或p（x|）π（）
π（θ｜x）是观察值为x的后验概率密度。
例：
A坛中白球30%黑球70%
B坛中白球70%黑球30%
两坛外形相同，从中任取一坛，作放回摸球12次,其中白球4次，黑球8次，求所取为A坛的概率.
解：
设观察值4白8黑事件为x，记取A坛为,取B坛为
在未作观察时，先验概率p（）=p（）=
则在作观察后，后验概率
P（|x）=p（x|）p（）p（x|）p（）+p（x|）p（）
=××（××+××
=（×）
==
显然,通过试验、观察、可修正先验分布.
§贝叶斯分析的正规型与扩展型
一、正规型分析
由Baysean原则：
先验分布为π（θ）时，最优的决策规则δ是贝叶斯规则,使贝叶斯风险
r（π,）=r（π,δ（x））
其中：
r（π,δ（x））=R（θ,δ（x））
=[l（θ,δ（x））
=l（θ,δ（x））f（x|θ）dxπ（θ）dθ
（1）
据
（1）式，选使r（π，δ）达到极小，这就是正规型的贝叶斯分析。
在解实际问题时，求使
（1）式极小的δ（x）往往十分困难，尤其在状态和观察值比较复杂时，Δ集中的策略数目很大，穷举所有的δ（x）有困难，且计算量颇大。
实际上可用下法：
二、扩展型贝叶斯分析（ExtensiveFormAnalysis）
在
（1）式中因l（θ,δ）>-∞，f（x｜θ），π（θ）均为有限值。
∴由Fubini定理，积分次序可换
即r（π,δ（x））=l（θ,δ（x））f（x|θ）dxπ（θ）dθ
=l（θ,δ（x））f（x|θ）π（θ）dθdx
（2）
显然，要使
（2）式达到极小，应当对每个x∈X，选择δ，
使l（θ,δ（x））f（x|θ）π（θ）dθ（2’）为极小
∵δ（x）=a∴若对给定的x,选a，使l（θ,δ（x））f（x|θ）π（θ）dθ为极小
亦即，
使l（θ,a）f（x|θ）π（θ）dθ
=l（,a）π（|x）dθ或l（,a）p（|x）（3）达极小，即可使
（1）式为极小.
·结论：
对每个x，选择行动a，使之对给定x时θ的后验分布π（θ｜x）的期望损失为极小，即可求得贝叶斯规则。
这种方法叫贝叶斯分析的扩展型，由此确定的贝叶斯规则叫formalBayeseanRule
——RaiffaSehlaifer,1961年提出。
·Note
·使（3）式达极小的行动可能不只一个，即可能有多个贝叶斯规则；
·扩展型比正规型更直观，也容易计算，故更常用；
·许多分析人员只承认扩型，理由是：
i，π（θ｜x）描述了试验后的θ的分布，比π（θ）更客观，因此，只要损失函数是由效用理论导出的（即考虑了DMer的价值判断、风险偏好），在评价行动a的优劣时就应当用后验期望损失。
ii,r（π，δ）是根据π（θ）求出的，而用先验分布π（θ）来确定行动a并不一定适当。
从根本上讲，这种观点是正确的。
·无论从何种观点来进行贝叶斯分析，从理论上讲，结果是一样的，所以采用何种方法可视具体问题，据计算方便而定。
·已经证明，形式贝叶斯分析对一类非随机性决策规则是成立的，也可以证明它对随机性决策规则同样成立。
使所有x上后验期望损失极小的贝叶斯规则也是随机性规则集Δ*中的Bayes规则，因此，总可以找到一验期望损失极小的非随机性规则。
三、例（先看无观察问题）
农民选择作物问题，设某地旱年占60%，正常年景占40%;种植耐旱作物
种不耐旱作物，后果矩阵为:
200
60100
决策人的效用函数u（y）=（1-）
解：
i令：
l（y）=1-u（y）
ii,作决策树：
iii,在无观察时,R=l,r=l（,a）π（）
r（π,）=l（,）π（）+l（,）π（）
=×+×
=
r（π,）=l（,）π（）+l（,）π（）
=×+0×
=
风险r小者优,∴δ=，是贝叶斯规则,即贝叶斯行动.即应选择耐旱作物。
四、例（续上）
设气象预报的准确性是，即p（|）=p（|）=
其中，预报干旱
预报正常年景
则m（）=p（|）π（）+p（|）π（）
=×+×=
m（）=
π（|）=p（|）π（）m（）
=×／=
π（|）=p（|）π（）m（）
=×／=
π（|）=
π（|）=
1.正规型分析
①策略:
=（）=（）
r（π,）=l（,（））p（|）π（）
4-7
=l（,）p（|）π（）+l（,）p（|）π（）
+l（,）p（|）π（）+l（,）p（|）π（）
=××+××+××+××
=
②策略:
=（）=（）
r（π,）=l（,（））p（|）π（）
=l（,）p（|）π（）+l（,）p（|）π（）
+l（,）p（|）π（）+l（,）p（|）π（）
=××+××+××+××
=
③策略:
=（）=（）
r（π,）=
④策略：
=（）=（）
r（π,）=
∵r（π,）＜r（π,）＜r（π,）＜r（π,）
∴fff是贝叶斯行动。
4－82.扩展型之一：
据（2’）:
l（θ,δ（x））f（x|θ）π（θ）dθ记作r’
①给定（预报干旱）:
采用r‘=l（,）p（|）π（）
=l（,）p（|）π（）+l（,）p（|）π（）
=××+××
=
采用r’=l（,）p（|）π（）+l（,）p（|）π（）
=
∵风险小者优∴给定应选
②给定（预报天
升级会员 