视频收录在线生产系统的研究和实现硕士学位论文.docx
《视频收录在线生产系统的研究和实现硕士学位论文.docx》由会员分享，可在线阅读，更多相关《视频收录在线生产系统的研究和实现硕士学位论文.docx（95页珍藏版）》请在冰豆网上搜索。
视频收录在线生产系统的研究和实现硕士学位论文
硕士学位论文
视频收录在线制作系统的研究与实现
摘要
目前，国内视频行业整体规模正在快速增长阶段，随着在线视频广告规模和用户数量的爆发式增长，国内视频网站数量随之暴增，竞争加剧。
大量，高质，及时的视频可以带来大量用户群，提高流量，潜在的吸引了更多广告商的投资。
因此，如何能够快速，有效地处理大批量的视频对一个视频网站来说至关重要。
基于上述研究，本文构造了分布式的、在线的视频收录制作系统。
具体工作如下：
1）设计了一个分布式视频收录在线制作系统OMS总体架构，它通过信源录制机，素材下载机，压制机的集群部署，在总控中心的调度下，实现信源录制，素材下载，压制多码流，审核，分发上片，入库等一系列流程自动化，一体化的功能，从而减少片子在整个流程中消耗的时间，提高了上片的效率。
2）参与设计并实现了基于该总体架构的原型系统，该系统包括制作中心、和总控中心两个部分，该系统能够有效减少一条片子从源片到被用户访问的时间，具有高效性。
3）设计并实现了OMS和CDN的上片下片接口，OMS与视频库BPP的入库接口，以及该系统的任务日志。
通过上下片接口和入库接口，一定的程度上增加了工作效率。
而任务日志提供了详细的任务状态变迁记录，一方面极大地方便了程序员对工作流程的掌控，提供了对每个用户的行为监控。
关键词：
OMS，BPP和CDN接口，任务日志
Abstract
Atpresent,theoverallsizeofthedomesticvideoindustryisattherapidgrowthphase.Withtheexplosivegrowthofonlinevideoadsizeandthenumberofusers,thenumberofdomesticvideoincreasesrapidly.Large,high-quality,timelyvideoescanbringalotofusergroups,increaseflow,andattractinvestmentofmoreadvertiserspotentially.Therefore,howtoquicklyandeffectivelydealwithlargequantitiesofvideoonavideositeisessential.Basedontheabovestudies,thispaperconstructsadistributedproductionsystem,anonlinevideocollection.Thefollowingsarespecificactivities:
1）HavedesignedadistributedvideocollectionofonlineproductionsystemOMSsystem.Thesystemiscomposedofsourcerecordingmachine,materialdownloadmachine,pressingmachinecluster.Thesystemcanrecordsource,downloadmaterial,review,anddistributerecords,storeaseriesofprocessautomationintegrationwiththeschedulingofthecontrolcenter.Itcanreducethetimeconsumedbythefilmintheentireprocessandimprovetheefficiency.2）Haveinvolvedinthedesignandrealizationofaprototypesystembasedontheoverallarchitecture.Thesystemincludestwoparts:
theproductioncenter,andthetotalcontrolcenter.Thesystemcaneffectivelyreducetheuseraccesstimetothesourcefilm,whichishighlyefficient.3）HavedesignedandimplementedOMSandCDNshowingsinterface,storageinterfacefortheOMS,videolibraryBPP,andthetasklog.WiththeUpperPieceandLowerPieceinterfacesandstorageinterfaces,thesystemcanincreaseacertaindegreeofworkefficiency.Thetasklogprovidesadetailedtaskstatusandchanges,whichgreatlyfacilitatestheprogrammeraccesstothecontroloftheworkflowandmonitorseachuser'sbehavior.
Keywords：
OMS,BPPandCDNinterface,inventorylog
目录
摘要i
Abstractii
第1章绪论1
1.1课题背景1
1.1.1分布式系统2
1.1.2视频压制技术3
1.1.3视频转码技术12
1.1.4Html5技术15
1.1.5SSH框架16
1.2 研究内容20
1.3 研究目标21
1.4 本文结构组织21
1.5 本章小结21
第2章OMS的总体架构22
2.1引言22
2.2总体架构22
2.2.1素材收录渠道24
2.2.2压制服务24
2.2.3系统交互24
2.3传输协议25
2.3.1PHPRPC25
2.3.2thrift25
2.4本章小结26
第3章OMS的详细设计27
3.1 总控中心的分层结构27
3.2 模块间交互工作时序27
3.3 产品总体流程设计29
3.3.1 产品业务流程设计29
3.3.2 产品技术流程设计29
3.3.3 在线制作系统工作流程30
3.4 产品功能设计31
3.4.1 信源收录模块31
3.4.2 数字版权上传模块32
3.4.3 素材查询模块32
3.4.4 素材查询模块33
3.4.5 视频快编模块（任务查看）33
3.4.6 任务管理模块34
3.4.7 审核管理模块36
3.4.8 设置管理模块38
3.4.9 用户管理41
3.4.10 设置管理模块44
第4章上下片接口45
4.1引言45
4.2 接口触发方式45
4.3 定时任务46
4.3.1 Scheduler46
4.3.2 Quartz46
4.4 上下片接口的XML47
4.4.1 上片接口的请求XML和返回XML47
4.4.2 下片接口的请求XML和返回XML48
4.5 XML解析方式及实现49
4.5.1 xmlbeans49
4.5.2 dom4j51
4.5.3 dom51
4.5.4 解析方式优缺点51
4.5.5 下片接口的设计51
4.5.6 回调接口callback的实现52
4.6 本章小结54
第5章媒资EPG输出接口55
5.1引言55
5.2pull方式55
5.3 push方式57
5.4 本章小结60
第6章任务日志61
6.1引言61
6.2迷你日志61
6.3详细日志61
6.4本章小结62
第7章总结与展望63
7.1 本文完成的主要研究工作63
7.2 本文的主要贡献和创新点63
7.3 进一步的研究工作64
参考文献65
作者简历66
致谢67
图目录
图2.1视频收录在线制作系统总体架构图23
图2.2PHPRPC远程调用示意图25
图2.3Thrift远程调用示意图26
图3.1总控中心的分层结构图27
图3.2模块架构时序图28
图3.3媒资平台业务流程图29
图3.4媒资平台产品技术流程图30
图3.5在线制作系统工作流程图30
图3.6在线制作系统产品功能模块图31
图3.7素材查询模块图32
图3.8视频编辑模块图33
图3.9任务列表图34
图3.10任务列表图36
图3.11视频审核界面图37
图3.12视频审核弹窗图38
图3.13常态栏目设置图38
图3.14常态栏目修改界面39
图3.15信源频道设置界面39
图3.16新增/修改信源频道界面40
图3.17输出策略设置图40
图3.18账户列表界面图41
图3.19账户列表编辑界面41
图3.20新增、编辑、删除角色界面图42
图3.21角色查看页面图43
图3.22常态栏目设置图44
图4.1CDN上片接口流程图47
图4.2CDN下片接口流程图52
图4.3CDNcallback接口流程图53
图5.1BPPpull接口流程图57
图5.2BPPpush接口流程图60
图6.1迷你日志61
图6.2详细日志62
表目录
表1.1视频压缩录像存储量对比表10
表1.2视频显示及图像传输对比表10
表1.3MPE1、MPEG4、H.263测试对比表11
表1.4Struts与MVC对比表16
表3.1状态与操作关系35
表3.2任务状态与子文件状态关系表35
表5.1OMS输出接口字段说明55
表5.2OMSpush接口字段说明58
表5.3OMSpush接口返回errorcode说明59
第1章绪论
1.1课题背景
视频网站是指在完善的技术平台支持下，让互联网用户在线流畅发布、浏览和分享视频作品。
除了传统的对视频网站的理解外，近年来，无论是P2P直播网站，BT下载站，还是本地视频播放软件，还将向影视点播扩展作为自己的一块战略要地。
影视点播已经成为各类网络视频运营商的兵家必争之地[1]。
麦肯锡一项新的研究表明，未来4年，中国将有超过7亿人观看网络视频[2]。
中国网络视频市场正在飞速发展，目前，国内视频行业整体规模正在快速增长阶段，随着网站内容的增加，随着在线视频广告规模和用户数量的爆发式增长，国内视频网站数量随之暴增，竞争加剧。
大量，高质，实时的视频可以带来大量用户群，提高流量，潜在的吸引了更多广告商的投资。
因此，如何能够快速，有效地处理大批量的视频对一个视频网站来说至关重要。
一个视频网站涉及的视频内容多样，有电影，电视剧，短片，长视频，格式繁多，MP4，flv等，有些视频格式不被网站的播放器支持，于是，如何管理和制作这些视频，以满足网站用户的需求，如何提高视频的制作效率，让视频制作人员快速，高效，准确的操作成为一个突破点。
而目前国内的视频行业，大多数采用多个系统分别制作最后整合的现状。
如有一个视频源文件，先要将他手动拷到源片库，当制作人员需要制作视频时，再将他从源片库拷到临时文件夹进行制作，剪切时间段，模糊遮标，打上特有logo，然后拷到压片机去压片，当压片成功时，相关人员将压好的成片拷出来，放到成片库，审核人员再从成片库拿出成片进行观看审核。
如此，编辑和审核人员将大量的时间放在拷贝视频上，也无法进行流水线操作，工作效率很低，拷贝过程中也很容易发生数据丢失等情况。
综上所述，建立一个分布式的，实时的，具有高吞吐量和高并发量的分布式在线视频制作系统具有现实的理论意义和广阔的应用前景，但因行业需求的快速变化，使得这一系统的实现面临不小的挑战。
1.1.1分布式系统
在一个分布式系统中，一组独立的计算机展现给用户的是一个统一的整体，就好像是一个系统似的。
系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。
系统中存在一个以全局的方式管理计算机资源的分布式操作系统。
通常，对用户来说，分布式系统只有一个模型或范型[3]。
在操作系统之上有一层软件中间件（middleware）负责实现这个模型。
一个著名的分布式系统的例子是万维网（WorldWideWeb），在万维网中，所有的一切看起来就好像是一个文档（Web页面）一样。
在计算机网络中，这种统一性、模型以及其中的软件都不存在。
用户看到的是实际的机器，计算机网络并没有使这些机器看起来是统一的。
如果这些机器有不同的硬件或者不同的操作系统，那么，这些差异对于用户来说都是完全可见的。
如果一个用户希望在一台远程机器上运行一个程序，那么，他必须登陆到远程机器上，然后在那台机器上运行该程序。
分布式系统和计算机网络系统的共同点是：
多数分布式系统是建立在计算机网络之上的，所以分布式系统与计算机网络在物理结构上是基本相同的。
他们的区别在于：
分布式操作系统的设计思想和网络操作系统是不同的，这决定了他们在结构、工作方式和功能上也不同。
网络操作系统要求网络用户在使用网络资源时首先必须了解网络资源，网络用户必须知道网络中各个计算机的功能与配置、软件资源、网络文件结构等情况，在网络中如果用户要读一个共享文件时，用户必须知道这个文件放在哪一台计算机的哪一个目录下；分布式操作系统是以全局方式管理系统资源的，它可以为用户任意调度网络资源，并且调度过程是“透明”的。
当用户提交一个作业时，分布式操作系统能够根据需要在系统中选择最合适的处理器，将用户的作业提交到该处理程序，在处理器完成作业后，将结果传给用户。
在这个过程中，用户并不会意识到有多个处理器的存在，这个系统就像是一个处理器一样[4]。
许多应用是固有分布式的。
这些应用是突发模式而非批量模式。
这方面的实例有事务处理和Internet程序。
这些应用的性能取决于吞吐量（事务响应时阳J或每秒完成的事务数）而不是一般多处理机所用的执行时间。
对于一组用户而言，分布式系统有一个特别的应用称为计算机支持的协同工作或群件，支持用户协同工作。
另一个应用是分布式会议，即通过物理的分布式网络进行电子会议。
同样，多媒体远程教学也是一个类似的应用。
由于在不同的平台上如：
Pc、工作站、局域网和广域网上可获得非常多样的应用，用户希望能超出他的限制以获得更广泛的功能和性能。
不同网络和环境（包括分布式系统环境）下的操作性变得越来越重要。
为了达到互操作性，用户需要一个标准的分布式计算环境，在这个环境里，所有系统和资源都可用。
DCE（分布式计算环境）是OSF（开放系统基金会）开发的分布式计算技术的工业标准集。
它提供保护和控制对数据访问的安全服务、容易寻找分布式资源的名字服务、以及高度可伸缩的模型用于组织极为分散的用户、服务和数据。
DCE可在所有主要的计算平台上运行，并设计成支持异型硬件和软件环境下的分布式应用[5]。
DCE已经被包括TRANSVARL在内的一些r一商实现。
TRANSVARL是最早的多厂商组（multivendorteam）的成员之一，它提出的建议已成为DCE体系结构的基础。
在中可以找到利用DCE开发分布式应用的指南。
具有标准接口和协议的系统也叫做开放系统。
一些其它标准基于一个特别的模型，比如CORBA（公用对象请求代理程序体系结构），它是由OMG（对象管理组）和多计算机厂商联盟开发的一个标准。
CORBA使用面向对象模型实现分布式系统中的透明服务请求。
工业界有自己的标准，比如微软的分布式构件对象模型（DCOM）和SunMicrosystem公司的JavaBeans[6]。
1.1.2视频压制技术
视频压缩技术用于录像资料收集、整理、储存，高性能的视频压缩技术甚至用于远程视频网络传输，因此，在安防监控市场DVR（数字化硬盘录像监控）技术中，成为先进的数字化网络监控，不论是在监视、录像存储、画面检索、网络传输、信息安全保密以及控制技术方面相比传统的模拟监控技术，大大提高了视频监控领域的效率[7]。
随着有线电视网络的发展、视频压缩技术还在节目采集、制作、播出及存储过程中的大量使用,新的电视业务（如视频点播、准视频点播）已经实现,人们可以随时调看想看的电视节目和录像片。
目前，市面上DVR产品使用的视频压缩算法主要有：
MOTION-JPEG；小波Engine-k；MPEG即（MPEG-1；MPEG-2；MPEG-4）；H.26X即（H.261;;H.263;以及H.264）；
下面我们将几种压缩算法简单的介绍一下，供大家学习参考：
一、JPEG/MOTION-JPEG（动态JPEG）
极少数DVR厂商采用JPEG压缩技术，大多采用MJPEG（Motion-JPEG）压缩技术，它主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。
目前的基于该技术的视频卡也主要是完成数字视频捕获（Capture）功能，在后台由CPU或专门的JPEG芯片完成压缩工作，也就是我们常说的软压缩。
JPEG/MJPEG压缩技术可以获取清晰度很高的视频图像、而且可以灵活设置每路视频清晰度、压缩帧数，但付出的代价是在保证每路都高清晰度的情况下，受处理速度限制，无法完成实压缩，有很强的丢帧现象，同时由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用较大，目前流行的MJPEG技术最好的也只能做到3K/帧，通常要8˜20K！
简单计算可以发现即使是丢帧录像，也将耗费大量的硬盘空间，尤其在保安监控领域，由于监控摄像机较多（16路通常），同时进行高清晰度录像，保证一个月的录像存储量是比较大的[8]。
二、小波变换（WAVELET）
压缩比50-70，分辨率可达到720*576，对静态画面处理较好。
和MOTION-JPEG类似，所占用的带宽和硬盘空间仍然较大，网络传输要求仍然较高。
三、MPEG
MPEG是Movyigpicturesexpertsgroup（运动图像专家组）的英文缩写，这个专家组始建于1988年，专门负责为CD建立视频和音频标准，其成员均为视频、音频及系统领域的技术专家。
MPEG是ISO/IEC/JTC/SC2/WG11的一个小组。
它的工作兼顾了JPEG标准和CCITT专家组的H261标准，于1990年形成了一个标准草案。
MPEG标准分成三个阶段：
第一阶段（MPEG—1）是针对传输速度为1MP/s到1.5Mb的普通电视质量的视频信号的压缩；第二个阶段目标则是对每秒30帧的720*576分辨率的视频信号进行压缩，在扩展模式下，（MPEG-2）可以对分辨率达成1440*1152高清晰度电视（HDTV）的信号进行压缩。
第三阶段，直到为了继续解决传输码流和压缩质量发展到现在应用较多的（MPEG-4）。
因为，在一开始它就是作为一个国际化的标准来研究制定，所以MPEG具有很好的兼容性；其次，MPEG能够比其他算法提供更好的压缩比，最高可达200：
1；更重要的是，MPEG在提供高压缩比的同时，对数据的损失很小。
MPEG算法除了对单幅图像进行编码外，还利用图像序列的相关特性去除帧间图像冗余，大大提高了视频图像的压缩比，在保持较好的图像视觉效果的前提下，压缩比可以达到60-100倍左右。
MPEG压缩算法复杂、计算量大，其实现一般要专门的硬件支持。
MPEG标准有三个组成部分：
MPEG视频；MPEG音频；视频与音频的同步。
MPEG视频是MPEG标准的核心。
为满足高压缩比和随时机访问两方面的要求，MPEG采用预测和插补两种帧间编码技术。
MPEG视频压缩算法中包含两种基本技术：
一种是基于16*16子块的运动补偿，用来减少帧序列的空域冗余，在帧内压缩及帧间预测中均使用了DCT变换。
运动补偿算法是当前视频图像压缩技术中使用最普遍的方法之一。
MPEG-1
制定于1992年，为工业级标准的设计，可适合于不同带宽的设备，如CD-ROM、Video-CD、CD-I。
它可针对SIF标准分辨（对于NTSC制为325*240；对于PAL制为325*288）的图像进行压缩，传输速率为1.5Mbits/sec,每秒播放30（25）帧,具有CD（指激光唱盘）音质,图像质量级别基本与VHS相当。
MPEG的编码速率最高可达4-5Mbits/sec，但随着速率的提高，其解码后的图像质量有所降低。
MPEG-1也被用于数字电话网络上的视频传输，如非对称数字用户线路（ADSL），视频点播（VOD），以及教育网络等。
同时，MPEG-1也可被用做记录媒体或是在INTERNET上传输音频。
MPEG在DVR系统中应用
MPEG1实时视频压缩技术是目前市场DVR产品主流。
较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。
例如在国内PAL制式下，NPDG1可以满足多路25帧/秒的压缩（>16路）速度，在500kbit/sec压缩码流（352*288）下，每帧大小仅为2k，简单计算可以表明，MPEG1产品的录像容量是目前硬盘容量可以接受的（16路以下）。
目前国内DVR厂商MPEG1产品基本都采用以色列Zapex或台湾Winbond公司的压缩芯片，通过硬件压缩技术可以有效降低计算机负担，解决多路视频同时录像计算机资源有限的问题[9]。
MPEG1也有较多不利地方，其一是存储量，通常需要8个80硬盘，或更多，硬盘投资大，而由此引起的硬盘故障和维护更是叫人头疼；其二是清晰度不够高，由于MPEG1最大清晰度仅次352*288，考虑到容量、模拟/数字量化损失等其他因素，回放清晰度不高，这也是市场反应的主要问题；其三是不够灵活，只能25帧/秒，不能够丢帧录像，从目前广泛采用的压缩芯片来看，也缺乏有效的调控手段，例如关键帧设计、取样区域设定等等，造成在保安监控领域应用不适合，造价也高。
基四MPEG1由于数据量大，不适合网络传输，尤其是在常用的低带宽网络上无法实现过程视频传输。
MPEG-2：
MPEG-2制定于1994年，设计目标是高级工业标准的图像质量以及更高的传输率。
MPEG-2所能提供的传输率在3-10Mbits/sec间，其在NTSC制式下的分辨率可达720*480，MPEG-2也可以提供广播级的视像和CD级的音质。
MPEG-2R的音频编可提供左右中及两个环绕声道，以及一个加重低音声道，和多达个伴音声道。
由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也播放MPEG-1格式的数据，如VCD。
同时，由于MPEG-2的出色性能表现，已能适用于HDTV，使得原打算为HDTV设计的MPEG-3，还没出世就被抛弃了。
（MPEG-3要求速率在20Mbits/sec-40Mbits/sec间，但这将使画面有轻度扭曲）
但是它有个致命的缺陷，就是压缩率较低（40：
1），这样就需要很大的硬盘容量来满足长时间的录像存储。
硬盘存储容量一直都是硬盘录像主机的瓶颈所在，要想使录像文件
升级会员 