主题模型LDA.ppt

主题模型LDA.ppt

《主题模型LDA.ppt》由会员分享，可在线阅读，更多相关《主题模型LDA.ppt（49页珍藏版）》请在冰豆网上搜索。

主题模型LDA,北京10月机器学习班邹博2014年11月16日,2/49,主要内容和目标,共轭先验分布Dirichlet分布unigrammodelLDAGibbs采样算法,3/49,随机变量的分布,4/49,思考,尝试计算X（k）落在区间x,x+x的概率：

5/49,划分为3段,6/49,事件E1的概率,7/49,事件E2：

假设有2个数落在区间x,x+x,8/49,只需要考虑1个点落在区间x,x+x,9/49,X（k）的概率密度函数,10/49,补充：

函数,函数是阶乘在实数上的推广,11/49,利用函数,12/49,增加观测数据,13/49,思考过程,14/49,思考过程,15/49,共轭分布,注：

上式中的加号“+”，并不代表实际的数学公式是相加，事实上，实际计算过程是相乘的。

16/49,Beta分布的概率密度曲线,17/49,18/49,直接推广到Dirichlet分布,19/49,贝叶斯参数估计的思考过程,20/49,共轭先验分布,在贝叶斯概率理论中，如果后验概率P（|x）和先验概率p（）满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。

InBayesianprobabilitytheory,iftheposteriordistributionsp（|x）areinthesamefamilyasthepriorprobabilitydistributionp（）,thepriorandposteriorarethencalledconjugatedistributions,andtheprioriscalledaconjugatepriorforthelikelihoodfunction.,21/49,共轭先验分布的提出,某观测数据服从概率分布P（）时，当观测到新的X数据时，有如下问题：

可否根据新观测数据X，更新参数根据新观测数据可以在多大程度上改变参数+当重新估计的时候，给出新参数值的新概率分布。

即：

P（|x）,22/49,分析,根据贝叶斯法则P（x|）表示以预估为参数的x概率分布，可以直接求得。

P（）是已有原始的概率分布。

方案：

选取P（x|）的共轭先验作为P（）的分布，这样，P（x|）乘以P（）然后归一化结果后其形式和P（）的形式一样。

23/49,举例说明,投掷一个非均匀硬币，可以使用参数为的伯努利模型，为硬币为正面的概率，那么结果x的分布形式为：

其共轭先验为beta分布，具有两个参数和，称为超参数（hyperparameters）。

简单解释就是，这两个参数决定了参数。

Beta分布形式为,24/49,先验概率和后验概率的关系,计算后验概率归一化这个等式后会得到另一个Beta分布，即：

伯努利分布的共轭先验是Beta分布。

25/49,伪计数,可以发现，在后验概率的最终表达式中，参数和和x，1-x一起作为参数的指数。

而这个指数的实践意义是：

投币过程中，正面朝上的次数。

因此，和常常被称作“伪计数”。

26/49,推广,二项分布多项分布Beta分布Dirichlet分布,27/49,Dirichlet分布的定义,28/49,Dirichlet分布的分析,是参数，共K个定义在x1,x2xK-1维上x1+x2+xK-1+xK=1x1,x2xK-10定义在（K-1）维的单纯形上，其他区域的概率密度为0的取值对Dir（p|）有什么影响？

29/49,SymmetricDirichletdistribution,AverycommonspecialcaseisthesymmetricDirichletdistribution,wherealloftheelementsmakinguptheparametervectorhavethesamevalue.SymmetricDirichletdistributionsareoftenusedwhenaDirichletprioriscalledfor,sincetheretypicallyisnopriorknowledgefavoringonecomponentoveranother.Sinceallelementsoftheparametervectorhavethesamevalue,thedistributionalternativelycanbeparametrizedbyasinglescalarvalue,calledtheconcentrationparameter（聚集参数）.,30/49,对称Dirichlet分布,31/49,对称Dirichlet分布的参数分析,=1时退化为均匀分布当1时p1=p2=pk的概率增大当1时p1=1，pi=0的概率增大,图像说明：

将Dirichlet分布的概率密度函数取对数,绘制对称Dirichlet分布的图像，取K=3，也就是有两个独立参数x1,x2，分别对应图中的两个坐标轴，第三个参数始终满足x3=1-x1-x2且1=2=3=，图中反映的是从0.3变化到2.0的概率对数值的变化情况。

32/49,参数对Dirichlet分布的影响,33/49,参数选择对对称Dirichlet分布的影响,When=1,thesymmetricDirichletdistributionisequivalenttoauniformdistributionovertheopenstandard（K1）-simplex,i.e.itisuniformoverallpointsinitssupport.Valuesoftheconcentrationparameterabove1prefervariantsthataredense,evenlydistributeddistributions,i.e.allthevalueswithinasinglesamplearesimilartoeachother.Valuesoftheconcentrationparameterbelow1prefersparsedistributions,i.e.mostofthevalueswithinasinglesamplewillbecloseto0,andthevastmajorityofthemasswillbeconcentratedinafewofthevalues.,34/49,多项分布的共轭分布是Dirichlet分布,35/49,unigrammodel,unigrammodel假设文本中的词服从Multinomial分布，而Multinomial分布的先验分布为Dirichlet分布。

图中双线圆圈wn表示在文本中观察到的第n个词，n1,N表示文本中一共有N个词。

加上方框表示重复，即一共有N个这样的随机变量wn。

p和是隐含未知变量，分别是词服从的Multinomial分布的参数和该Multinomial分布的先验Dirichlet分布的参数。

一般由经验事先给定，p由观察到的文本中出现的词学习得到，表示文本中出现每个词的概率。

36/49,为上述模型增加主题Topic,假定语料库中共有m篇文章，一共涉及了K个Topic，每个Topic下的词分布为一个从参数为的Dirichlet先验分布中采样得到的Multinomial分布（注意词典由term构成，每篇文章由word构成，前者不能重复，后者可以重复）。

每篇文章的长度记做Nm，从一个参数为的Dirichlet先验分布中采样得到一个Multinomial分布作为该文章中每个Topic的概率分布；对于某篇文章中的第n个词，首先从该文章中出现每个Topic的Multinomial分布中采样一个Topic，然后再在这个Topic对应的词的Multinomial分布中采样一个词。

不断重复这个随机生成过程，直到m篇文章全部完成上述过程。

这就是LDA的解释。

37/49,详细解释,字典中共有V个term，不可重复，这些term出现在具体的文章中，就是word语料库中共有m篇文档d1,d2dm对于文档di，由Ni个word组成，可重复；语料库中共有K个主题T1，T2Tk；，为先验分布的参数，一般事先给定：

如取0.1的对称Dirichlet分布是每篇文档的主题分布对于第i篇文档di，它的主题分布是i=（i1,i2,iK），是长度为K的向量对于第i篇文档di，在主题分布i下，可以确定一个具体的主题zij=j，j1,K，k表示第k个主题的词分布对于第k个主题Tk，词分布k=（k1,k2kv），是长度为v的向量由zij选择zij，表示由词分布zij确定word，从而得到wix,38/49,详细解释,图中K为主题个数，M为文档总数，Nm是第m个文档的单词总数。

是每个Topic下词的多项分布的Dirichlet先验参数，是每个文档下Topic的多项分布的Dirichlet先验参数。

zmn是第m个文档中第n个词的主题，wmn是m个文档中的第n个词。

两个隐含变量和分别表示第m个文档下的Topic分布和第k个Topic下词的分布，前者是k维（k为Topic总数）向量，后者是v维向量（v为词典中term总数）,39/49,参数的学习,给定一个文档集合，wmn是可以观察到的已知变量，和是根据经验给定的先验参数，其他的变量zmn，和都是未知的隐含变量，需要根据观察到的变量来学习估计的。

根据LDA的图模型，可以写出所有变量的联合分布：

40/49,似然概率,一个词wmn初始化为一个termt的概率是每个文档中出现topick的概率乘以topick下出现termt的概率，然后枚举所有topic求和得到。

整个文档集合的似然函数为：

41/49,GibbsSampling,GibbsSampling算法的运行方式是每次选取概率向量的一个维度，给定其他维度的变量值采样当前维度的值。

不断迭代，直到收敛输出待估计的参数。

初始时随机给文本中的每个单词分配主题z（0），然后统计每个主题z下出现termt的数量以及每个文档m下出现主题z中的词的数量，每一轮计算p（zi|z-i,d,w），即排除当前词的主题分配：

根据其他所有词的主题分配估计当前词分配各个主题的概率。

当得到当前词属于所有主题z的概率分布后，根据这个概率分布为该词采样一个新的主题。

然后用同样的方法不断更新下一个词的主题，直到发现每个文档下Topic分布和每个Topic下词的分布收敛，算法停止，输出待估计的参数和，最终每个单词的主题zmn也同时得出。

实际应用中会设置最大迭代次数。

每一次计算p（zi|z-i,d,w）的公式称为Gibbsupdatingrule。

42/49,联合分布,第一项因子是给定主题采样词的过程后面的因子计算，nz（t）表示termt被观察到分配topicz的次数，nm（t）表示topick分配给文档m中的word的次数。

43/49,计算因子,44/49,计算因子,45/49,Gibbsupdatingrule,46/49,词分布和主题分布,47/49,48/49,参考文献,GregorHeinrich,ParameterestimationfortextanalysisDavidM.Blei,AndrewY.Ng,MichaelI.Jordan,LatentDirichletAllocation,2003靳志辉，LDA数学八卦，2013http:

/en.wikipedia.org/wiki/Dirichlet_distribution（Dirichlet分布）http:

/en.wikipedia.org