流形特征镜头边界检测后处理算法.docx
《流形特征镜头边界检测后处理算法.docx》由会员分享，可在线阅读，更多相关《流形特征镜头边界检测后处理算法.docx（12页珍藏版）》请在冰豆网上搜索。
流形特征镜头边界检测后处理算法
基于流形特征的镜头边界检测后处理算法
镜头是视频分析和检索的基础,为了有效检测镜头边界,并对镜头边界进行分类,提出一种新的
镜头边界描述子:
镜头边界流形视频流可以看做一个高维空间,镜头边界流形是隐含在该空间中的局
部结构,它能够有效区分镜头边界和非镜头边界,以及区分不同类型的镜头边界采用这种特征,提出
一种后处理算法,一方面去除预检测镜头边界的虚警,另一方面将真正的镜头边界分类实验结果证实
了镜头边界流行的有效性以及后处理算法的优异性能
关键词镜头边界检测;镜头边界检测后处理;镜头边界分类;拉普拉斯特征映射
中图法分类号TP181;TP37
随着多媒体技术的发展,对海量的视频数据进
行索引和检索已成为一个重要的研究课题视频通
常是无结构的流,为了方便对视频内容进行分析处
理,Rui等人[1]提出将视频流按内容进行层次划分,
从高层到低层分别为视频（video）、场景（scene）、镜
头组（group）、镜头（shot）和关键帧（keyframe）镜
头是指摄像机从打开到关闭的过程中记录下来的一
组连续的帧图像,它是组成视频的基本物理单位,视
频索引和检索就建立在镜头边界检测的基础上
由于视频后期剪辑制作不同,镜头边界大致分
为两类:
切变（cut）和渐变（gradual）渐变镜头边界
又分很多种,主要包括淡入淡出（fadeinout）、溶解
（dissolve）和擦变（wipe）镜头边界的类型能提供更
多高层语义,比如,一段排球比赛中,直播镜头与回
放镜头之间的切换常常使用擦变检索回放镜头时
可以在擦变镜头中寻找,大大缩小了检索范围因
此,镜头边界分类对于视频分析与检索有重要价值
文献[23]对多种镜头边界检测算法进行了比
较以往检测算法的要点包括两个方面:
一是特征
（feature）及度量（metric）;二是针对度量的决策算法
特征用来刻画视频流中每一帧的视觉内容特性,可
以是颜色[4]、边缘[5]或者压缩域上的参数[6]
;度量
用来刻画视频流中帧与帧之间的特征变化,文献[7]
对多种度量进行介绍并比较了它们的性能决策算
法的任务则是根据度量采取一定策略和算法检测出
镜头边界
在现有的镜头边界检测算法中,采用的特征有
像素值（灰度值或颜色值）、直方图以及MPEG压缩
域上的参数衡量帧间差异最简单的度量方法是计
算两帧基于像素点的距离,但该方法对运动敏感,容
易造成误检直方图描述的是图像的全局信息,一
定程度上可以减小运动对检测的影响由于目前多
数视频采用MPEG压缩标准,直接在压缩域上提取
特征可以提高检测速度,常用的压缩域特征包括DC
图[8]、运动向量、预测宏块数、宏块的类型信息[6]等
现有的针对度量的决策算法包括全局阈值法、自适
应阈值法、双阈值比较法[9]、基于统计的决策算法
全局阈值法对整段视频序列采用一个全局阈值,这
种方法最简单直接,但鲁棒性差,对于不同类型的视
频片段或同类型视频的不同时间片段需要设置不同
的阈值自适应阈值法利用一个滑动窗口,统计该
窗口内视频的局部特性,根据统计特性设定动态阈
值以上两种方法适用于检测突变镜头,不能对渐
变镜头进行准确定位文献[9]提出的双阈值比较
法能够检测出渐变镜头的起始和终止位置,但不能
区分缓变镜头边界的具体类型
本文把视频看做图像在时间轴上展开的一个高
维空间,空间中的各点在时间轴上是局部相关的
镜头发生切换时,高维空间的点呈现特有分布,这种
相关性分布可以看做一个低维的流形嵌入在高维空
间中我们采用流形学习的方法[10]把它提取出来刻
画不同类型的镜头边界,以这种特征为基础,提出一
种基于学习的镜头边界检测后处理方法
1镜头边界类型分析
镜头边界的编辑效果有很多种,主要包括切变
和渐变,渐变镜头边界又可以分为溶解、淡入淡出和
擦变以下给出它们的数学模型ㄴ公式中,S（x,y,
t）表示镜头发生切换时镜头边界的各帧,表示镜
头边界的类型,S1（x,y,t）和S2（x,y,t）分别表示
切换前的镜头和切换后的镜头
1）切变:
两_L___謃个镜头直接拼接在一起,对于边界
处两帧,所有像素值发生突然变化
Scut（x,y,t）=
S1（x,y,t）,t!
t1,
S2（x,y,t）,t>t1
2）溶解:
镜头S1逐渐变弱,镜头S2逐渐变强,
两个镜头交叠在一起直至变换结束
Sdissolve（x,y,t）=S1（x,y）（
t-t1
T
）+
S2（x,y）（
t2-t
T
）,
式中,t1和t2分别表示溶解变换开始和结束的时
间,T表示镜头变换持续的时间
3）淡入淡出:
淡入是镜头从无到有的过程,淡
出反之
Sfadein（x,y,t）=S（x,y）（
t-t1
T
）,
Sfadeout（x,y,t）=S（x,y）（
t2-t
T
）,
式中,t1表示淡入开始的时间,t2表示淡出结束的
时间,T表示淡入淡出持续的时间
4）擦变:
镜头S2按某个方向将镜头S1逐渐擦
除处于变换过程中的某帧图像从空间上来看,一
部分属于镜头S1,一部分属于镜头S2
Swipe（x,y,t）=S1（x,y）f（x,y,t）+
S2（x,y）[1-f（x,y,t）]
擦变有多种类型,包括横向、竖向、对角线、圆形
擦变等,因而引入函数f（x,y,t）来表示擦变规则,
函数的取值为0或者1
由以上分析,各种镜头边界的视觉特征明显不
同,第2节提出的方法能将这种特征有效提取出来
2镜头边界流形学习
本节给出镜头边界流形提取的详细算法视频
流可以看做一个高维欧氏空间RfN+1,N为每帧的
像素个数,另外一维是时间视频中的每帧可以看
做RfN+1空间中的一点,这些点有着局部相关性
在空间RfN+1中,不同类型镜头边界中的各帧对应
的高维空间点有着不同的局部相关性我们采用流
形学习的方法把这种嵌入在空间Rf
N+1中的局部
结构提取出来,以描述不同的镜头边界首先给出
流形学习的定义[11]:
定义1流形学习令Y是包含在Rfd欧氏空
间的d维域,令f:
Y∀Rfd为一光滑嵌入,其中
N>d数据点{yi}Y由某个随机过程生成,经f
映射形成观测空间的数据{xi=f（yi）}Rf
d一般
称Y为隐空间,{yi}为隐数据流形学习的目标是
要从观测数据{xi}中重构f和{yi}
我们采用拉普拉斯特征映射的流形学习方法来
发现和重构隐藏在空间RfN+1中的边界流形瑬拉普
1994计算机研究与发展2006,43（11）
拉斯特征映射是基于局部保序思想来获得高维观测
空间与低维结构的在局部意义下的对应[11]文献
[10]的实验表明,拉普拉斯特征映射所得到的流形
有很好的聚类和分类效果,这一点正符合本文镜头
后处理算法的需要以下给出具体的镜头边界流形
的学习算法:
1）抽取局部点集
视频流有时间相关性,因此首先抽取时间轴上
临近的N帧设k是候选镜头边界上某一帧的帧
号,以k为中心取一个大小为N的窗口,即在k帧
前取（N-1）2帧,k帧后取（N-1）2帧将
窗口中的每一帧作为一个节点,构造加权的帧间关
系图
2）构造帧间关系图
对于Step1中抽取的点集{X1,#,XN},如果
Xi和Xj相关性高,就将节点i和j之间加一条边
加边的方式有两种:
∃邻接法[参数%R],如果
&Xi-Xj&2<,则将节点i和j之间用边连接起
来;∋n近邻法[参数n%N],如果i是j的n个最
近邻点之一,或者j是i的n个最近邻点之一,则把
节点i和j连接起来我们采取的方法是将窗口中
的点两两连线,因为它们在时间轴上相邻,具有较高
的相关性
3）选取权值
帧间关系图中,边的权值选取方法有两种:
∃热
核法[参数t%R],如果节点i和j是相连的,则将
它们的边的权值设置为Wij=e
&Xi-Xj&2
t;∋简单方
法[没有参数],只要节点i和j相连,就置权值
Wij=1,我们采用的是热核权重
4）特征映射
对于构造好的帧间关系图G,根据边的权重得
到它的邻接矩阵W,由W计算对角矩阵D,
Dii=（jWji,然后得到拉普拉斯矩阵:
L=D-
W,拉普拉斯矩阵L是一个对称、半正定矩阵,它可
以被看做一个定义在图G节点上的操作函数计算
下式的广义特征值和特征向量:
Lf=Df
（1）
设y0,#,yk-1是式
（1）的特征向量,按对应特
征值从小到大排列,可以证明,y0对应的特征值为
0,向量y0的每个元素都为1我们取一维向量y1
作为镜头边界的流形结构
经过拉普拉斯特征映射之后得到的特征具有很
好的区分特性图1给出了4种类型镜头边界以及
非镜头边界的帧间关系图和镜头边界流形图1（a）
表示帧间关系图,示例图中所取窗口大小为N=
11,颜色越浅表明相似度越高;图1（b）表示将图1
（a）的帧间关系图做拉普拉斯特征映射之后的流形
结构可以看出,不同类型的镜头边界以及非镜头
边界,它们的帧间关系图具有不同的特征,拉普拉斯
特征映射之后的镜头边界流形是一维向量,维数更
低,却能更好地区分不同的镜头边界第4节的实
验结果证明了镜头边界流形的有效性
Fig1Featuresforfourshotboundarytypesandnonboundary（a）Interframegraphand（b）Shotboundarymanifold
图1尠四种类型镜头边界以及非镜头边界的特征图（a）帧间关系图;（b）镜头边界流形
3基于流形特征的后处理算法
第2节提出的镜头边界流形有很好的区分特
性,我们在此基础上提出一种镜头边界检测后处理
算法首先,进行镜头边界预检测,得到候选的镜头
升级会员 