最大期望值EM算法PPT资料.ppt

最大期望值EM算法PPT资料.ppt

《最大期望值EM算法PPT资料.ppt》由会员分享，可在线阅读，更多相关《最大期望值EM算法PPT资料.ppt（25页珍藏版）》请在冰豆网上搜索。

根据样本值估计参数=模型=结果例如：

money=k1*x+k2*y+k3*zX:

面积y:

地段z:

楼层k:

参数money:

房价根据某一单元的10户房的样本x,y,z,money。

根据已知10组数据用最大似然法求出k1,k2,k3这三个参数为0.6，0.3，0.1，得出模型money=0.6*x+0.3*y+0.1*z只要知道小区里某个房子的面积、地段、楼层=房价,套用模型,3,最大化似然估计,4,此表达式不是条件概率，因为此时参数看作变量,最大化似然估计,求最大似然函数估计值的一般步骤：

（1）写似然函数；

（2）取对数；

（3）求导数，令导数为0，得到似然方程；

（4）解似然方程，得到的参数即为所求。

5,期望最大化思想,机器学习十大算法之一期望最大化算法（EM）用来干嘛的？

解决参数估计问题EM很简单，简单在于它的思想，仅包含了两个步骤就能完成强大的功能；

（E步骤，M步骤）EM又很复杂，复杂在于它的数学推理涉及到比较繁杂的概率公式等。

（凸函数，琴生不等式，拉格朗日中值定理，贝叶斯，最大似然估计等）,6,期望最大化思想,EM算法是一种有效的迭代过程。

EME步骤：

根据上一次迭代的参数来计算出隐藏变量的后验概率，其实就是隐藏变量的期望。

=p（|x）值=p（z|x,）M步骤：

将似然函数最大化以获得新的参数值。

估计的模型参数使得观察的数据出现概率是最大的。

=更新值EM算法有很多的应用，最广泛的就是clustering、GMM、HMM等等。

7,期望最大化思想,K-means聚类例子期望步（E-步）：

给定当前的簇中心，每个对象都被指派到簇中心离该对象最近的簇，期望每个对象都属于最近的簇。

最大化步（M-步）：

对于每个簇，算法调整其中心，使得到该新中心的距离之和最小化。

将指派到一个簇的对象的相似度最大化。

8,期望最大化思想,GMM混合高斯模型例子：

班上学生的身高就是一个GMM混合高斯模型，由男生身高的高斯分布和女生身高的高斯分布组成。

估计每个样例是男生还是女生=分别估计均值和方差。

9,期望最大化思想,NY,10,利用当前参数值计算数据j由第i个类生成的概率,收敛？

最后参数值,期望最大化思想,11,EM,期望最大化思想,12,13,期望最大化思想,14,期望最大化思想,这里有10个样例，每个样例两个特征,第一步，分别求x和y的平均值，然后对于所有的样例，都减去对应的均值。

15,16,期望最大化推导,17,Convexfunctions,Definition1若对于a，b内任意两点x1和x2，且任意0,1都满足f（x1+（1-）x2）f（x1）+（1-）f（x2）通常称函数f（x）在区间（a，b）内是“下凸函数”。

特别情形取=1/2,琴生不等式,期望最大化推导,19,固定其他参数后，Qi（z（i）的计算公式就是后验概率,期望最大化推导,20,期望最大化推导,21,假定（t）和（t+1）是EM第t次和t+1次迭代后的结果。

选定（t）后，我们得到E步Jensen不等式中的等式成立,期望最大化推导,22,E步求出来的L（t）,琴生不等式,期望最大化推导,23,一种收敛方法是l（）不再变化，还有一种就是变化幅度很小。

那么最终我们会到达最大似然估计的最大值。

期望最大化推导,24,25,谢谢,