标签复杂的对象 多视角多实例多标记学习详述Word文档格式.docx

1、版权所有。图 1 多视图 MIML 学习 例子/袋 （如视频） 由多实例的多视图 （例如 星星 = 声音的线段多边形 = 相框）;（颜色） 的标签附加到袋在训练过程中。原始 MIML 设置只处理情况下，数据来自单一的功能集 （单视图）。然而，对于许多复杂的数据，是单一的功能集来捕获大量的类别的标签所需的信息，很难。因此，很自然地考虑有可能利用多个功能集 （多视图） 的有用性。例如，可以使用视觉和音频信号到标签的视频;或者利用标题和注释图像的视觉内容。鉴于上述情况，我们正式的多视角多实例多标记学习如下问题。让Y = yl|l=.L表示一组L标签，和D = （Xn，Yn） |n= 1.N表示训练数

2、据集，在第 n 个示例Xn由实例一袋从 V 的意见，和Yn= ynl|l= 1.Ln 接 Y集Ln（袋） 标签的第 n 个实例。在这里，我们有Xn= xnvm|v= 1.V，m= 1.Mnv在哪里Mnv指示的第 n 个示例中，第五个视图中的实例和每个实例数xnvmRDv由Dv的视图的高维特征向量v。多视图 MIML 学习的目标是预测袋标签Yn0为例看不见Xn0以及其各个实例的标签xn0vmv 视图 （见图 1）。此外，它是可取的多视图的部分实例，即与在某些视图中没有实例的例子工作方法。这是因为多视图数据集经常损坏，并且可以在现实场景中的缺失值。例如，对感官的数据集，一些输入信号，如视觉、 听觉

3、可能是由于一些腐败从环境而丢失。一般情况下，一个分别，了解每个视图中的 MIML 模型，即可结合单视图 MIML 模型的学习，可以依靠任何以前的方法 （周 et al.，2012年） 的单一视图 MIML 模型的输出。然而，在每个 singleview 学习用这种方式，不能充分利用可用的信息。此外，由于 MIML 探讨了结构实例和标签之间，利用充分信息的影响可能比传统的单实例单标签方案中更巨大。结果，它有利于考虑作为一个整体的多视图 MIML 问题。在本文中，我们提出了一个名为多实例方法基于分层贝叶斯网络，在那里标签被假定为主题，获取标签之间的关系; 从采样的混合多标签 （MIMLmix）和实

4、例 （从多视图） 的样本从混合组件所在的标签表示在多角度的混合模型。在连续的特征空间 （连续视图），标签代表由高斯分布，而在离散特征空间 （离散视图），标签由多项式分布。基于贝叶斯方法的使用，可以帮助处理缺少的信息，如丢失的实例的标签或完整的示例。本文的其余部分分为 4 部分。我们首先重温一些相关的工作，然后提出了我们的方法 （MIMLmix），其次是实验和结论。相关的工作周等人 （2007 年; 2012年） 配方的 MIML （多实例多标签） 框架，提出了几种算法，并应用于图像和文本的应用程序。后来，许多 MIML 算法被提出，许多应用程序有报道;举几个例子，MIML 算法基于狄利克雷-伯

5、努利对齐方式 （杨，咋了和胡 2009 年），基于条件随机域 （闸 et al.2008年），基于单实例变性 （阮 2010 年），基于度量学习 （金、 王和周 2009年） 等。MIML 技术已经被发现好有用的应用，如图像检索和批注 （阮等 2013年）、 视频注释 （徐、 薛和周 2011年）、 基因模式注释 （李 et al.，2012b）、 关系抽取在自然语言处理 （苏尔代亚努 et al.，2012年） 等。（李等人 2012a; 提出了大量的 MIML 方法，发现袋标签和实例之间的关系布里格斯，小丽和散户 2012年）。多视图学习中处理的数据多个视图，即多个功能集。目标是提高性能或

6、降低样品复杂性。好在学习与未标记数据研究了多视图学习。一些研究多视图配合使用的半监督学习 （百隆和米切尔 1998 年;王和忻州 2010b;周、 詹和杨 2007 年），或与积极的学习 （王和周 2010a）。试图建立一个潜在的子空间的假设实例 （在不同视图中） 属于相同的例子还有附近后映射到潜在的子空间 （白等人 2012;王、 聂和黄 2013 年）。要组合从传统的监督学习的多视图的信息，一个人可以在特征级或分类级别 （Atrey et al.，2010年） 使用融合技术。几乎所有以前的 MIML 研究集中在 singleview 设置和几乎所有以前的多视图学习图 2: MIMLmix

7、有主题标签部分 （0到y） 和 labelinstance 部分 （为x）. = ，是一组连接的主题标签部分和标签实例部分的参数MIMLmix 算法 1 生成过程1:对于每个示例Xn做2:.主题标签部分 LDA 模型K主题。3:示例主题分布.4:为每个标签做5:示例主题指示器6:样品标签7:标签实例部分 为V意见，标签8:示例标签分布9:为每个实例xnvm在视图中v10:示例标签指示器z多（n）11:示例p（xnvm|znvm=y，v）.研究集中在单实例和/或单标签学习。尽我们所知，唯一的例外是 （阮、 詹和周 2013年），提出的 M3LDA 方法了。我们的做法，然而，是更普遍和更有效比 M

8、3LDA，将在下一节中详细讨论。它也是重要的是突出一些相关的贝叶斯网络的结构依赖 LDA （鲁宾 et al.，2012年）、 通用汽车 LDA 和 CorrLDA （布莱和约旦 2003年） 等。这些方法并不适用于 MIML，因为依赖 LDA 运作与文本文档;和通用 LDA、 科尔 LDA 的无监督学习，即不利用标签。MIMLmix 模型灵感来自贝叶斯网络方法 （阮 et al。2010 年;2013;鲁宾等人 2012;阮、 粮站、 周2013年），我们建议 MIMLmix 模型 （多实例多标签混合模型） 的多视图 MIML （图 2），由两部分组成: （1） 主题标签部分是 LDA 主题

9、模型的主题 （布莱，吴荣和约旦 2003年），主题在哪里捕捉标签相关关系; 和 （2） labelinstance 部分在哪里从混合高斯/多项式分布函数生成实例。生成过程如 Alg.1 所示。和图 2。在标签实例部分，例如，我们将设置为标签分配事先，其中是一种面向元素的产品，和ynRL。培训期间，= 0,ynl1 如果等于l-th 标签是在Yn和零否则，因而nl的标签不在零Yn。在测试，期间设置为一个非零常数和中的所有元素初始化为来触发所有标签的推理，货值控制多少主题分布影响标签分布。潜变量代表袋标签实例隐藏的任务。如果Xv是我们正式离散，p（xnvm|znvm=y，v） =p（xnvm|vy

10、）使用 Multinomimal 分布与参数vyRDv。在这里，我们删除索引n、 m、 v为简单起见p（x（1）在哪里| |x| |1=P我x我。如果特征空间是我们正式连续，p（xnvm|作为一个高斯分布在哪里也已撤掉为简单起见。作为 MIMLmix 允许从离散和连续的意见的情况下，它是比 M3LDA 更一般 （阮、 詹和周 2013年），这只适用于离散的意见。在续集中，我们将获得一种基于变分的推理的 MIMLmix 比吉布斯更有效的训练方法在 M3LDA 采样。此外，而不是通过实例的标签硬分配（z取一袋标签集值），变分推理介绍了通过，一软任务 （Pyy= 1-变分变量z），它允许一个实例要与

11、多个相关标签关联。培训与 MIMLmix作为观察期间培训，两个部分 （p（0,g，Y|0,和（p,z、 X|Y，可以独立学会）。在下文中，我们显示标签实例部分变分推断。变分推理置于潜变量分布的一个简单的家庭q（z,） = Qn（n|） Qv，mq（znvm|（3）在哪里Dir（n）和多（nvm）和RL和（Pynvm，y= 1）。我们然后获得证据下限（反向）L:L =Eq登录p（,z、 X|） Eq登录q（z,）（4）培训是通过最大化反向使用 EM 算法相似 （布莱，吴荣和约旦 2003年） 执行。在这里，E 步试图通过交替下列更新将在袋标签标签分配给实例nvmyexp Eq日志纽约州 + 登录

12、p（xnvm|znvm=y，v）（5）纽约州=纽约州X +（） 6v mEq日志纽约州 = （纽约州） （Py0纽约州0）（表示双伽玛函数）。请注意，我们不认为我们中的所有标签Y为每袋但只属于标签Yn，因此来这里演出 E 步是高效。给出了估计的为所有，M 步更新如下最大化反向的全局变量MIMLmix 算法 2 训练.主题标签部分火车上的 LDAN（布莱，吴荣和约旦 2003年）。.标签实例部分初始化所有视图y Y.而相对有所改善L0,l。通过这样做，我们触发审议的所有标签。在 Alg.3，总结了算法。信息从标签实例部分通过传递给主题标签部分利用标签分配实例的多视图 （第 4 行），和从主题标签

13、一部分到标签实例部分通过n0，其中yn0隐式设置为（线 6）。在实施中，以减少采样步骤 4，号线的随机性我们获得平均的主题分布在所有迭代，然后用它来更新最后的袋和实例批注的先验信息。多视图与不平等的重要性lv是随机变量，它表示的每个示例中，第五个视图的实例数和假设服从泊松分布大埔（v）。假设我们修复的实例数为常量的视图之间、 条件分布P（lv|）如下参数的一个多项式分布= （1，.，V），在那里。我们然后改写联合概率p（zn,Xn|,）:p（zn，Xn|） = Qvmp（x|,znvmnvm）wv（10） 的地方wv=v衍射v= 1，上述方程是相同作为原始但用新的眼光在一个袋子里的一个实例的视

14、图重复五倍，而不是重复的实例作为v，我们重复它与wvvv倍替换该约束wv与Pvwv= 1，一个可以更改实例在不同视图中的权重。我们同样，修改变分分布和获得的职权范围涉及修改反向，如下所示Lwv= XwEq登录p（zvi|） Eq登录q（zvi|六）我+Eq登录p（x六|z六，1:）（11）在哪里我跑过去填写所涉在 v th实例查看从培训的例子。v= 1/M填写所涉v（L/wv），它是直观，措施如何可能的一个实例在视图生成给袋标签。最大化vwv极端，结果是为具有最大视图将接收所有的重量，而有些则是为零。我们然后找到简单的解决方案，通过设置 v+v在哪里v=日志（vmin我我+ 2）是的缩放的值v

15、; 和v可以被解释为先验的 v-th 视图。和的更新，则与算法 2 仍然相同视图重量是消除了由于正常化或司内每个视图，用于的更新纽约州更改为纽约州+wv在测试期间，我们样品的中的归一化算法 3Pvmwvn0vm。请注意所有的实验，在下届会议中的多视图数据集进行以 MIMLmix 这个变形。实验我们在数据集多视图 2 和 3 单视图数据集上进行实验。在表 1 中给出这些数据集的摘要。Citeseerx-10 k1包含两个视图，即，内容（v1） 和引文中的科学论文 （v2）。ImageCLEF （穆勒 et al.，2010年） 包含两个视图的图像: 视觉（v1） 和文本（v2）。在这里，我们使用

16、已被 （阮、 詹和周 2013年） 相同子集。每个示例的可视视图由分割区域一袋、 一个区域由 1000 个视觉单词，通过聚类的对手 SIFTs （Van de Sande，Gevers 和杖鱼 2010年） 得到一个频率向量。Citeseerx-10 k 有 1072年部分例子，ImageCLEF 有 2114年部分例子;大多数的部分示例表 1 实验数据集 #ipb 是 #instances 每袋。数据集#bags#labels#ipb#dimCiteseerx-10 K （2 意见）10,79950035.748.32,000ImageCLEF （2 意见）8,0007818.42.61,0

17、00806信卡罗尔166264.316MSRC v2591232.9748IAPRTC-125,0002445.0928没有第二种观点。在单视图数据集，LetterCarroll，MSRC v2 被所得 （布里格斯，小丽和散户 2012年）;和 IAPRTC-12 数据集选择了从 （埃斯卡兰特等人，2010年）。评价 MIML 方法评价从三个方面，即示例数据透视评价使用汉明损失 （h.l.） 和平均精度 （美联社） （周和张 2007 年）; 标签数据透视评价使用意味着平均精度 （m.a.p） 和宏-F1 （马 f1） 出现在训练和测试数据集 （鲁宾等人 2012年）; 至少一次的标签和 in

18、stancepivot 评价实例准确性 （ins acc） （布里格斯，小丽和散户 2012年）。衡量恒力、 马 f1、 顶部L标签与最高的决定，作为每个示例注释选择值。在这里，选择的基础平均每例的标签数量。我们进行 30 次评价为 ImageCLEF，每次我们使用 1000年例子为培训和 1000年例子进行测试;10 倍 crossvalidation 被进行其他数据集。只有 singleview 数据集有 ins acc 评价实例标签。比较方法 对多视图的数据集，以下方法进行比较和对比 MIMLmix;MIMLmix * （MIMLmix 与= 0）;M3LDA （阮、 詹和周 2013

19、年）;政务司司长。支持向量机相结合的单一视图，决策值成本敏感型支持向量机;和 MIMLmix 与个别意见 （MIMLmix.v1 和 MIMLmix.v2）。为了培养单视图支持向量机，我们积累获得每袋，单个实例的多个实例，然后 onevs 全用于多标记学习。在单视图的数据集，MIMLmix，MIMLmix * 与包括 RankLossSVM （布里格斯等人 （2012 年）; 其他 MIML 方法进行了比较MIMLSVM （周和张 2007 年）;MISVM （安德鲁斯等人 （2002） 建立成本敏感多实例支持向量机的每个标签;和 DBA （杨等人 （2009 年）。多视图数据集不完整的示例表

20、 2 在没有完整的示例的多视图数据集上的性能。在这里，v1/v2 平均含量/引文对 Citeseerx-10 k;和视觉/文本在 ImageCLEF 上。 （） 表明方法显著差 （优于） MIMLmix 与95%t图 3 表演 （Mmx） MIMLmix、 MIMLmix * （Mmx *）、 M3LDA （M3），政务司司长。支持向量机 （SVM），MIMLmix.v2 （Mmx.v2） 在部分例子说明与暗的酒吧。对应于不采用光颜色条中没有完整的示例 （表 2） 的引用的情况下显示这些方法的结果。我们评价 MIMLmix 和比较的方法，在案件没有完整的示例，得到的去除多视图数据集的所有部分的

21、示例。对于 MIMLmix 方法，我们设置0= 0.1,= 200为两个数据集的默认值设置.3,= 5 为 10 k Citeseerx 和= 10= 0为 ImageCLEF。M3LDA 进行相同的设置 （阮、 詹，和周 2013年） 上 ImageCLEF;= 200,.5，和采样迭代的次数300对 Citeseerx-10 k。一个 vs 所有 cs。支持向量机分类器会接受训练，每个视图，使用 LIBSVM （昌和林 2011年） 提供默认参数，只积极的和消极的类的权重设置为每个标签#pos#+pos#neg和#pos#+neg#neg，哪里#pos#neg分别是正面和负面的包，数目。我

22、们结合决策值的单视图 cs。支持向量机使用规则 （.3v1+.7v2） 上 ImageCLEf，和 （.6v1+.4v2） 上 Citeseerx，选择这些参数通过尝试不同的值的组合。实验结果表示在表 2 中。可以看到，MIMLmix 优于其他多视图方法包括 MIMLmix * 在大多数情况。特别是，M3LDA 的性能不是在 CiteSeerx 数据集，主要是由于我们设置以满足时间约束的采样迭代小数目上令人满意的。有关计算比较的更多详细信息将在本节后面讨论。MIMLmix 优于 MIMLmix * 由上 ImageCLEF 标签有高度相关性较大的差距。与单一视图 MIMLmix 模型相比，MIMLmix 是在两个多视点的数据集上明显更好。这将验证相结合的多视图，以获得更好的性能的重要性。MIMLmix 是明显优于 cs。支持向量机在大多数情况下只对 ImageCLEF m.a.p。有趣的是，在 ImageCLEF 数据集，政务司司长。支持向量机达到比 MIMLmix 多糟马 f1，虽然它具有更高的 m.a.p.通过检查 cs 的联合的决策值。支持向量机，我们看到，虽然 cs。支持向量机获得好的排名，对于一些罕见的标签的例子，罕见标签的值不是足够大，以满足