图像识别.docx
《图像识别.docx》由会员分享，可在线阅读，更多相关《图像识别.docx（13页珍藏版）》请在冰豆网上搜索。
图像识别
基础的流积极的探索性研究学习
简介
从演变和无止尽的数据学习是一个重要的问题，例如监视或互联网规模级别的数据。
从这些大量的实际数据，这些详细的监控数据是非常重要的，尤其是在内在的类型和界限划分明确之前当还不能预知整个分类的领域，透彻的探索是很重要的。
积极的学习展现了关于高级动物的人类监测的探索研究的保障。
在本文中，我们呈现了一个崭新的工作模式，这种模式是没有任何权重的在主流中的阶段性的积极的探索研究。
典型动态图片和监视摄像的数据集的扩展价值证明了我们的工作模式比现存模式的优越性。
1．引言
我们考虑的一个学术性问题，定义如下。
有潜在无限制的瞬时序列流，但是受限于任何时间。
典型地，一个学习者第一次接受一个例子，因为不能约束这样的记忆限制所以不能够储存和再现过去所有的例子。
重要的是，整体类频率具有幂律或齐普夫定律分布[32，20]–大多数情况下在数据流中分属几大类，虽然许多其他类只贡献的一小部分在整个数据流（见图1）。
例如，许多小的课程通常是未知的由于他们的稀有性和不可预测性。
这样的学习问题在许多现实世界的场景是经常遇到的[13，8，20]。
例如，在视觉监视应用程序，有趣的和潜在的危险和比较典型的行为活动例如，在这些应用中，数据到一个流在较长的一段时间而不是全部，他们可以存储[28]。
另一个例子是大尺度学习任务，如众包，其中的内容如图像或视频与潜在的未知类别的介绍依次对人类的注解者。
在这种情况下即使是一个单一的扫描所有未标记的数据是不可伸缩的，所以基于流的数据处理要求支持在飞行中的互动标签[29]。
共同的特征这些学习问题的流为基础的学习，未知类的发现，模糊推理，和不平衡类分布。
然而，现有的学习策略不解决这些共同（见2）。
图1。
在许多视觉问题（如人脸图像的分类在互联网上），类的频率分布在一个重尾
幂律[32]。
流在较长的一段时间而不是全部可以存储[28]。
另一个例子是大尺度学习任务，如大量资源，其中的内容如图像或视频与潜在的未知类别的依次被人类的注解者。
在这种情况下即使是一个单一的扫描所有未标记的数据是不可伸缩的，所以基于流的数据处理要求支持在飞速运动中的互动标签[29]。
共同的特征这些学习问题的流是基础的学习，未知类的发现，模糊推理，和不平衡类分布。
然而，现有的学习策略不解决这些相同（见2）
我们的目标是制定一个基于流的学习框架能够进行探索研究发现未知的和罕见的类和学习的概念边界（开发）过搜索与模糊的类成员的实例。
学习者应该返回未知的，模糊的实例被标记的，才能使人进步，这样标签的需要，以最小的付出提高模型。
此外，学习者必须能够处理现实不平衡类分布。
具体来说，我们制定了一个统一的标准的基础上一致[22]的原理，使用贝叶斯非参数的框架来平衡两个相互竞争的目标探测和开采没有影响式加权。
处理不平衡类分布，我们定义一个非参数贝叶斯先验已知的和未知的你用连带过程（PYP）[17]，它可以产生重尾的幂律分布。
我们大量的实验中表明，所提出主动学习框架来降低标签优于其他国家的艺术流为基础的主动学习方法。
我们还表明，PYP之前是上级处理不平衡类分布，在Dirichlet过程（DP）之前[27]。
2．相关的工作
已经提出了各种不同的策略来降低人类的分类学习，例如，半监视的学习，弱监督学习，主动学习，迁移学习。
主动学习[21]是有用的降低标签成本所要求的信息情报实例[4，14，10，13，6，9，29标记，11]。
在本文中，我们专注于基于流的主动学习，特别是在艰难难的情况下，在类的全套知道和整体类分布不知道是不平衡的。
基于主动学习流：
大多数现有的方法是考虑池的设计，其中每个查询的选择是通过在一个未标记的数据池[19，10，6，9，29的穷举搜索，11]。
相反，通过学习使即时查询决定在每个实例中的数据流的一个单一的扫描流。
一个基于流的学习过程中有明显的优势：
在池为基础的数据池的搜索是必要的。
因此，是可行的应用程序的需求，对吗？
Y互动标签如众包[29]和视觉监控枪的任务[13]。
基于流的学习，然而，是比池为基础的学习从学习者缺乏完整的知识的基础上的数据分布[8]。
基于不同的流的方法已被提出了[4，1，8，13]，其中大部分需要设置一个AR通用阈值的查询条件来决定是否查询或丢弃传入的实例。
一个例外是由QBC算法[22]，它利用委员会成员达成共识的BER阈值免费查询选择。
我们的直觉认为，有吸引力的阈值是自由值继承。
然而，原始的QBC算法不去发现的未知类别。
此外，前有较大的QBC方法[1]只适用于二项和多项似然函数的离散数据。
在这项研究中，我们扩展QBC范式，发现未知的类和处理多元正常的类相似，这在视觉问题[18]常见。
查询条件和未知类的发现：
联合国确定的标准[10，29，11]是广泛用于识别与模糊的类成员的实例。
这是通常的盟友的内容？
由班后[11]或分布熵的决策超平面[29]中，与假设，所有的类都是先验已知的。
假设是无效的和许多基于流的未知和稀有类问题学习。
轻化这一假设，对未知类别的AC的发现[16，7]，如选择的实例，将给定的模型的可能性。
最近的研究[24，13，6，9]试图结合的不确定性和实现低似然准则的荷兰联合开发的探索。
这些方法，但是，有两个缺点：
（1）他们是有限的池为基础的学习[24，6，9]，或
（2）依靠启发式开关安泰的一些特设参数TERS[24，13]之间的控制标准，9。
不平衡类分布处理：
以前的工作[6]发现未知的类使用DP类先验的，这是不理想的处理不平衡类分布。
在本文中，我们概括先前提出的DPPYP的解决不足。
相反，DP，PYP产生幂律分布更紧密地和那些在现实世界中的问题，看到金光闪闪，如自然LAN语言模型[26]和自然场景分割[23]，它已显示出显着吗？
通过使用改进DPPYP斜面，即使不考虑也不PYP公式相关的主动学习。
本文的贡献是三个方面：
（1）我们第一次怎么流为基础的联合勘探开发可以使用统一的实现艾德的主动学习标准。
该方法使即时查询的cisions在每个实例，并由此计算服能流数据和大规模的学习任务要求的Y互动标签；
（2）我们的方法转化为一个非参数贝叶斯模型，适应其复杂性和勘探开发平衡的数据，没有任何启发式或手动调整的参数值。
它的性能在许多数据集，从而稳定可靠；（3）利用PYP作为一类之前，主动学习，它提供了改进的性能，在现实世界中的长尾，现有的方法是弱的问题。
广泛的评估是对众多的长条标记和可视化数据库进行，包括公共监控视频，人体步态，笔迹，脸，和自然的影像。
3．基于主动学习流
该模型的目的是减少人类的标签需要努力学习类C∈C模型，其中全类集C在事先不知道。
传统的基于流的学习方法[1，8]不适用于更一般的情况。
计算一个立场属于一个未知的类是非平凡的概率，没有什么是目前已知的类。
我们提出了一种基于连杆你这个问题处理（PYP）。
3.1.模式概述
我们首先给我们的方法的简要概述，先去安泰细节在随后的章节。
我们考虑一次性分类二形式的P（C|x）∝P（x|C）P（C）。
覆盖的类都是通过假设一个PYP的先验模型P占（C）。
为每个类的可能性，P（x|C）是自由一个高斯DP混合，允许任意复杂的类。
对基于流的主动学习（见图2）我们ITER地：
（1）接收来自数据流的一个实例，XN∈路；
（2）从模型成立一个委员会，后画两个随机假设H1和H2。
（3）为每个HY假说，计算后验概率P（CN|XN）在PYP作为大前提；（4）查询实例，如果两个假设分布对其分类同意吗？
阳离子，或两者都分配到一个未知的类的实例；（5）包括标记{（XN，CN）}在训练setlto重新的分类；迭代停止准则满足时，例如查询预算用完。
3.2.采样的一个委员会
让我们第一个解释机制形成犯罪TEE。
一个委员会由多个随机假设的模型参数的后验分布PA采样，P（θ|L）条件的训练集的L标记到目前为止。
如何样P（θ|L）取决于模型的参数化形式。
以往的研究[1，14，13]只涵盖多项似然：
现实世界中的数据一个不切实际的约束，尤其是视觉。
在这里，我们讨论了多元正态模型等lihoods采样过程。
一个d维多元正态分布参数：
平均PAμ和协方差Σ。
共轭先验的多元正态是正常的逆Wishart分布（NIW）。
新的参数取决于νκ0，0，0Λμ，0，0，0，νκ正的标量，μ0是一个D×1矢量和Λ0是一个D×D矩阵。
在观察点，我们得到theniw后（见[15]），我们可以从样品的规格委员会成员{μ，Σ}：
、
图3.不同的决策边界委员会成员可以通过采样不同{μ,Σ}，估计在模型参数的后验概率分布。
山姆采样后产生的成员的参数估计不同的数据时，N是最低的数量和倾向于当N为高。
在一个委员会，每个成员都是一个独立的分类，ER模型K类，每一个高斯μ，Σ或混合高斯模型的{μΣ}可能（公式1）。
图3IL三成员阐述美国在主动学习。
每一成员模型三类，其中每个参数rameterised由一个单一的高斯μ，Σ。
人们可以观察到，当观测数据的数量是低的（e.g.n=10），这些估计值的方差大。
因此，分，边界变化及成员倾向于不同意彼此之间，在决策空间产生了大量不确定区域。
成员倾向于同意后观察更多的数据（例如，N=80）时的方差估计是Σ}{μ，来自小。
最重要的是，通过查询躺在分歧的空间的情况下，QBC框架不仅有助于确定模糊的类成员，但也含蓄地降低模型的方差。
3.3.未知的类概率
经典的QBC算法完全解决了类间的不确定性，在已知的类（见3.4）在这一章中，我们概括的考虑到由于使用非参数贝叶斯未知空间的未知类别的不确定性。
我们假设的数据序列可以绘制独立同分布的随机概率分布，这是PYP分布基地分布参数G，折扣0≤β＜1，和集中参数α>β，写成
G|G0,b,a-（βα,G0）（4）.
基本布局的G0可以理解为概率分布的G的意义，而β和α是参数值，控制变化的G金额从G0。
图4转向你的过程（α，β）位值安排，其中编号的钻石代表客户，和大界代表近表。
在PYP，这类的数被假定为在有限；而事先指定艾德在类，只有一个黑箱观察。
现有可利用中国餐馆过程隐喻解释（参见图4）。
指定卡利，餐厅有一个吗K已占表有限数量的客户，和NK细胞在KTHTA的。
在餐厅的客户总数，包括一个新的客户是n=PKKNK。
一个新的客户更喜欢流行的表，要占用表k的概率（NK-β）/（N-1+α）；或一个新表的概率（α+K）/（N-1+α）。
PYP的利用我们的框架中，联合国的离散的类有界数（表）认为，其中K已经到目前为止。
一个新的实例（CUS法）可分为现有的K类≤K，或一个新的类的K+1。
正式的，现有的和新的类的一个新实例XN概率：
在NK细胞是在第k个类的实例的数目。
不malisingP（C=K|XN）给出了概率的新XN属于每个已知的类以及联合国称类。
在公式5给出更多的细节如下：
转向你的参数，αβ，代替βα和价值观，我们对待他们，把他们的超先验未知参数和推断出它们的价值遵循了采样例程在[25]。
获得P（XN|C）-记得，我们的样品一组COM-从委员会的成员（在黑箱）代表每个类的每个成员的高斯混合CDP是一个（有限）的高斯混合模型（GMM），其中P（XN|C）是其中的MC是组件的数量，和0≤πC，M≤1混合系数有效的。
给出更多的细节在美国证券交易委员会3.5。
获得P（XN）-无条件密度p（x），带guishes有用样本异常值[6]。
主动学习之前，我们构建一个高斯模型的P（x）从联合国标记的随机抽取的样品流。
方程5编码的PYP[31]两个主要特性：
（1）“富者越富”的聚类性能–之前的类是对已分配给它的实例的数目成比例，因此PYP可能将数据分配到一个已经存在的类具有大量的样品。
（2）从富人给穷人的行为–PYP分发一些重量从众多潜在的新的类通过β>0偷。
那是，更多的类，我们观察，更可能的是，数据将被分配到一个新的类。
这将产生一个重尾的幂律分布类似于那些在现实世界中的问题[26，23]。
与β=0的Dirichlet过程具有第一而不是第二属性。
3.4测量委员会一致
采样后的成员，每个成员的BER可以分类的一个新实例上的最大的P（C=K|XN）式5。
委员会可能有不同的意见，在分配到新的或现有的类的实例。
假设两个假设H1和H2，我们衡量他们的共识如下：
其中K是类的数量观察到目前为止。
这实现了
（1）探索在H1和H2分配到一个新的类的实例，即{嗨（XN）=K+1|？
我}。
（2）开发和灰时，两种假设都不同意在CLASSI？
阳离子，即{H1（XN）6=H2（XN）}。
图5说明了质量QBC和前有关类新查询用语的方法之间的差异性。
可以看出，QBC完全解决了类间的不确定性在已知的类，而我们的算法解决了已知的类和未开发的空间之间的不确定性。
重要的是，该阈值免费查询策略与典型的流为基础的方法[8，13]，这需要一个明确的阈值？
滤波器实例查询偏好低。
图5一个模型的数据如图3所示是用在这里。
这个数字显示的不确定性，再通过QBC，所提出的方法解决区域的定性比较。
红色显示较高的查询偏好，而蓝色表明低查询偏好。
我们将看到在美国证券交易委员会。
4.2，探索与开发的自动平衡的PYP分区之前，给定的参数α和β。
α+βKn的值1+α方程5中有减少的趋势，而NK-βN-1+α趋于增加，当n变大。
因此，新的类概率性将在多点观察逐渐减少。
因此，占主导地位的探索的开始和积极的选择会慢慢切换到开发。
如何有史以来，最重要的是，上述平衡的行为是
（1）无启发式参数和
（2）发生在通过PYP的参数学习数据驱动的速度。
值得注意的是，一个可扩展的多成员使用不同的一致性度量如投票熵[1]。
然而，这样的扩展往往需要一个明确的同意度阈值水平的分界点。
此外，不同的研究[22，1]表明，采用不同的委员会的大小并不能提高性能的意义。
我们发现，使用一二个委员会成员足够在我们的实验中有效。
3.5增量的Dirichlet过程混合模型
我们的框架可以很容易地适应任何的似然模型，例如[9，6]。
在这项研究中，我们采用一个渐进的Dirichlet过程混合模型（DPMM）[5]为我们班的，我们修改要满足多类分类Ca和。
指定卡利，如果K类的观察，将有KDP混合条件的一个类的变量。
非参数贝叶斯模型提供了两个关键的广告，比传统的贝叶斯的优势（和非贝叶斯）模型：
（1）它允许无限数量的潜在混合在每一个类的成分，从而放松的COM-ponent数限制为[6，9]；和
（2）自然模型参数可在委员会中直接利用秒采样后验分布。
3.2。
每次查询后，标记的实例是用来更新增量使用内存有界变量DPMM国家推理策略[5]。
获取指定的类的一个测试实例x，我们首先计算每类P的预测性分布（X？
|LC）（见[12]-情商。
（7）），而LC是标记的数据通过C-th类。
“安泰统一的课程之前，最有可能的CN=argmaxc∈{1，……，k}P（x*|LC）。
提出的基于流的主动学习方法总结算法1。
3.6实施细则
学习PYP的参数，α和β，我们固定的超先验α，Bα，一β，和Bβ1；我们用128次迭代的老化后样品的收集和。
α和β以前的学习循环使用。
所提出的方法的代码可以在http:
//www.eecs.qmul.ac.uk/ccloy/。
4结果
我们评估了该方法，VEUCI数据集[2]广泛使用的基准，主动学习方法。
此外，我们还包括VE视觉数据集，即CASIA步态数据库1，MNIST手写数字dataset2，QMUL公共监控数据[13]，镧标记雅虎！
新闻人脸数据库，和场景理解-INGdatabase4。
这些数据集给出缩略语的步态，数字，QMUL，yahooface，和太阳分别。
每个数据集的细节，如表1所示。
请注意，所有的数据集包含自然不平衡的类的比例，除了步态和数字，其中采样包含几何类的比例为[9，6]。
我们采用类似的预处理步骤中描述[9]在UCI，步态，和数字数据集，。
对于QMUL我们使用相同的活性表示为[13]。
为yahooface和太阳的数据集进行PCA降低原始高维descriptors540dimensions6。
表1数据集的属性：
n=数量的情况下，D=维度对数据；类数控=数，S和L为比例的最小和最大的类。
在下面的实验中，不同于[13，8]，我们不返回任何被丢弃的实例返回到未标记的数据流，我们认为学习者通常不重复过去的情况下在一个严格的基于流的学习环境。
主动学习可能会停止在两种情况下：
（1）当学习者弃100的情况下，连续的，或
（2）一个给定的查询预算用完。
150个查询的预算被分配到所有的数据集，除了那些有大量的误码率的类，即太阳和yahooface数据库，它被分配一个1000的预算。
性能的比较，我们使用的平均精度[9]，在哪？
平均分类精度得到的？
阳离子的accu-活泼的每类。
因此，最终的平均精度相当的惩罚在MISCLASS小类阳离子。
所有的结果都在25运行的2倍交叉验证的平均。
4.1转向你的VSDirichlet过程
我们？
首先把注意力集中在性能的比较为基础的主动学习中使用较多的PYP和DP之间。
特别是，我们比较我们提出的算法。
1个变种，取代PYP在步骤4，DP。
我们称他们为QBCPYP和QBCDP分别。
请注意，一个方法可以随时停止学习了，后给定查询的预算，即当他们放弃100例连续。
我们观察到接近的发现和分类，阳离子交换性能的QBCDP和QBCPYP之间时，终止。
尽管如此，QBCPYP往往在大多数情况下，使用更少的预算。
突出的性能差异，我们比较平均级精度的实例查询点当学习停止数的比率。
值得注意的是，高比例的价值只能由一个有效的学习者，高精度的回报只是观察少数情况下实现。
表比较的比率在不同的数据集表2给出了。
随机抽样（RAND），“被动”的学习等，作为基线。
表2比较用连杆你和Dirichlet过程的算法的性能1。
性能指标是平均类准确率（百分比）数量的实例查询。
一个更高的比率显示更好的性能。
从表2中，显而易见的是，QBCDP和QBC-PYP一贯优于随机抽样。
我们的亲提出QBCPYP优于替代QBCDP8的10个数据集。
提供到PYP和DP之间的性能差异的洞察，我们选择了yahooface数据库，绘制单个类的实例的数量和相关的排名在一个日志日志规模图6。
该yahooface数据库有一个高度不平衡类分布分布（见表1）以下的幂律缩放（见图1），其中最常见的50类占所观察到的人脸图像，50%。
从图6和表2中的重新提出的结果，可以看出，PYP捕捉幂律统计比DP，表明PYP之前是在类分布的大偏差问题更加明智的选择。
图6用标记的雅虎人脸数据库，我们策划的经验类密度（在每一个类的实例的数目）和日志记录的规模在所有类密度等级。
我们也从情节连杆你画的独特的类的数量的过程（PYP）和Dirichlet过程（DP）。
一个纯粹的幂律关系-船将在一个日志日志规模的一个完美的直线。
4.2国家的最先进的方法比较
我们比较所提出的方法（ALG。
1）对下列国家的最先进的基于流的方法：
lowlik低似然准则，专门为快速未知类的发现。
本标准是类似的，在[16]提出但对基于流的学习在[13]。
QBC由委员会[1]查询，国家的最先进的流为基础的算法搜索模糊的情况。
kldiv-一个多标准的主动学习方法[13]，将共同勘探开发和lowlikQBC。
不同的标准平衡通过测量个体的影响随着时间的推移，该模型的变化。
请注意，数量有限的基于流的主动学习和研究限制我们可以比较的方法。
替代方法，如[9，6，29，10，7]是不适合由于其池的性质。
此外，一些方法设计的主动检测而不是AC-tiveCLASS阳离子[29]，而其他的方法是计算tationally棘手的在我们的模型[3]。
我们没有与[8]，因为它是在概念上类似于其生成版本的QBC”。
我们首先对比了不同类的方法发现的性能。
结果列于表3。
QBC差，得到的结果在大多数数据集的发现并不令人惊讶（例如pageblocks，飞机，和KDD）因为它不是设计用于发现任务。
一些数据集上的小的改进是通过使用多标准多kldiv观察方法。
然而，由于不同的水平调整标准权重参数，它的启发式平衡三方案未能在正确的学习阶段使用正确的标准，因此，在数据集，如pageblocks，穿梭，甲状腺效果差，和yahooface。
总体而言，我们的方法优于QBCPYPQBC和多kldiv，与可比的性能lowlik，是专门为快速未知类的发现。
表3通过不同的方法发现的类数。
数控是类的原始数。
最好的结果了。
表4平均精度达到使用不同的方法。
最好的结果了。
接下来，我们比较的平均分类,每一种方法的离子度。
全监督学习也包括参考。
尽管一些数据集上是好显示，QBC和多kldiv性能一般是不稳定的，且这些数据精度差，他们表现不佳。
强前勘探能力lowlik补偿其失踪前开发的特征，它表现的相当好，从而在几个数据集。
尽管如此，该QBCPYP外进行8的10个数据集lowlik。
要说明的是，图7地块在QBCPYP相对lowlik[16]性能变化的百分比，QBC[1]，和多kldiv[13]。
虽然QBCPYP很少执行明显比别人差，潜在的改善是显着的？
斜面。
总体结果表明，QBCPYP全面和更稳定的和有效的基于流的有效的主动学习框架相比，它的国家的最先进的替代品。
最后，我们将更深入地了解所提出的方法是如何平衡勘探开发目标。
图在图8演示了如何对DIS-覆盖算法使多个查询的未知类别的水平下降。
特别是，左边的图显示，PYP的新类概率开始之前，在学习的初始阶段的高水平逐渐下降随着越来越多的数据观察。
为了说明的目的，我们提出了解耦方程7分成两部分，并计算{H1的频率（XN）6=H2（XN）}和{嗨（XN）=K+1|？
我在25个随机运行调用}。
可以从正确的情节看，探索DOM-包括在开始的时候，有许多新的类或未知的区域被发现；学习者最终将倾向于寻找中连续情况下的探究性学习不再是富有成效的。
重要的是，这种适应发生在原则性和数据驱动的方法（见图3.4）。
图7
4.3计算时间
我们测量我们的Matlab实现的运行时间在双核3.3GHz的机站。
在yahooface数据集，我们的基于流的学习方案的O（K）的复杂度在0.28秒平均需要作出一个查询的决定，和一个额外的0.10秒的列车的DPMM增量样本PYP的参数。
相反，一个池为基础的方案类似于[19]提出了复杂性为O（N2K）近似，需要大约8分钟做出决策，这显然是在可行的大型数据库。
5结论
我们提出了一种新的基于流的主动学习，监督EFING框架？
有效的学习任务没有预？
内德类空间–那些需要联合勘探。
我们的框架显示超过三的国家的最先进的基于流的方法和在未知类的发现和分类性能优越？
阳离子。
IMportantly，积极学习者自动平衡的新的学习的贝叶斯非参数模型的转向你超定额和开发过程。
此外，PYP项目的使用提高了性能更具挑战性的现实世界的数据集具有幂律类分布相比，最近研究DP基于先验[6]。
最后，通过增量学习我们的方法非常适合于实时应用。
我们提出的QBCPYP的框架是适合广告服饰众多越来越常见和重要的CON组，临时任务需要的？
Y互动学习从无界流和超大规模数据变化的类组成：
视频监控，网络本身的安全，社会网络挖掘，等。
未来的工作将前尝试可能的扩展如主动学习从多发响神谕[30]和主动学习和半监督学习相结合。
参考文献
[1]S.Argamon-Engelsonand
升级会员 