大洋媒体资产管理系统.docx
《大洋媒体资产管理系统.docx》由会员分享,可在线阅读,更多相关《大洋媒体资产管理系统.docx(41页珍藏版)》请在冰豆网上搜索。
大洋媒体资产管理系统
eVIAS
声像资料数字化管理系统
技术方案
软件版本:
V2.0
北京中科大洋信息技术有限公司
2013年3月
第一章系统概述
第1节背景分析
目前企业中80%的数据是非结构化数据,并且这些数据在以60%的速度呈现指数级增长。
这些非结构化数据中,以视音频、图片、文档等声像资料为主。
声像资料是企业单位重要的数字文化资产。
在企业单位中,声像资料主要以录音、录像、照片、文档等形式存在,在载体上主要以录音带、录像带、光盘、照片、硬盘数字文件等为主,内容上主要包括本单位直接生产或者管理的声像资料内容、自身形象宣传类声像资料(包括反应企业单位主要职能活动工作成果、领导重大活动、重要会议、会见以及外事活动)等等。
这些资料,可能是制作过程中,也可能是正式发布的,也有可能是用于内部保留的。
企业在进行声像资料管理的过程中,经常会碰到以下这些问题:
1.海量声像资料的存储,管理困难
企业单位经过日积月累,声像资料数量和容量特别庞大,特别是视频资源,视频格式繁多,素材、成品种类繁多,视频文件本身又不易识别,单个文件又大不易交换,靠人工及简单目录化方式,达到有效管理几乎不可能。
2.管理无序,管理混乱
由于企业单位组织跨部门合作,某些声像资源管理,既要按照日常工作要求进行分类组织管理,又要按照资料类别进行组织管理;有的需要审核后才可统一发布,管理规范和要求各个部门不统一。
3.资料安全缺乏保障
由于大量声像资料处于不被管理的无序状态,视频磁带介质容易受环境影响导致资料损失,数据文件容易被病毒感染、意外丢失、权限控制不明等情况屡屡发生,使资料的安全性无法得到保障。
4.查找缓慢,效率底下
由于业务工作需要,工作中需要不断查询历史声像资料。
传统的人工方式和资料柜管理,查找非常缓慢繁琐。
即使在已经数字化的计算机上搜索,从大量文件中查找到所需要的资料,甚至某个视频镜头也是一件耗时耗力的工作,且大多数文档、照片、视频根本只能简单题目检索,无法进行全文检索。
因获取信息和资料慢可能导致工作效率底下。
5.无法有效快速共享
目前大多数的声像资料属于员工个人资源,散落在各个环境,或者虽然已经进行规范化的管理,但是还是采用传统介质模式进行管理,很难实现资料快速共享和获取;特别是视频类大文件在制作环境、办公环境交换时需要移动硬盘或者简单网络共享时,获取这些资源的效率太低。
6.无法形成价值,精细化管理举步维艰
声像资料不集中管理或者粗放的管理模式,容易导致资源的流失,由此带来是资产的流失。
企业内部也缺乏分享经验和共享知识的环境和氛围。
同时由于声像资料不做管理,面向声像业务工作无法精确进行量化和统计,精细化管理亦很难实现。
为解决以上工作中面临的问题,需要建立一套专业的信息系统:
将企业内声像资源尽可能集中统一管理,能够根据不同业务特点进行整理,规范管理相关资料信息,并且有完善的安全机制和安全存储保障能力,具有高效查找搜索功能,能在大量声像资料库中迅速定位所需内容,具备简单、安全、可控的资源共享功能,而且能将声像资料纳入资产管理及精细化管理范畴,以防止资产流失。
由此,北京中科大洋信息技术有限公司在原有广电媒资系统的基础上,基于对结构的重新部署调整,对企业声像资料的管理进行重新规划和设计,正式推出了为教育机构、党政机关、图书馆、音像出版单位、档案馆等诸多行业打造的统一声像资料管理系统—eVIAS,以eVIAS为基础核心可构建适合多行业应用的资料管理系统,实现媒体资产规范化、流程化的高效率管理。
第2节产品描述
eVIAS(VideoInformationArchiveSystem)声像资料数字化管理系统是
一套用于企业单位进行声像类资源数字化管理的专业的软硬件系统。
采用高度集成的IT存储系统,进一步简化了网络的复杂性,大大降低了用户投入成本,抛弃了繁琐的工作流程。
eVIAS可以为各行业实现企业级的数字资产管理,对图片、音频、视频、数字化文档等各类资源进行统一管理和智能存储,针对各类资源提供数字化、编目、存储归档、搜索再利用等功能。
通过eVIAS,企业可以高效、快速的解决声像资料的存储、安全管理、查找、在线查看及发布控制等问题。
eVIAS着眼于广大行业用户,旨在提供专业、功能丰富且简单易用的声像资料数字化管理系统,如:
教育、档案、文博、公检法等单位。
此外对具有视音频资料数字化和管理需求的企事业单位等用户,eVIAS同样是其理想的选择,是声像资料等富媒体声像管理的最佳解决方案。
用户只需要根据本身的特点来选择不同的软件配置,即可完全能够满足自身需求。
这样既实现了投入成本的最优化,又为客户提供了更适合的解决方案。
第3节需求分析
eVIAS的安装部署可以采用双网结构,即以太网与光纤网相结合的方式。
所有设备和软件架构采用科学、先进和可靠的技术,在设备选型上和软件设计上应充分考虑系统的安全性、先进性、实用性和完整的应急能力。
系统配置应灵活、易于操作、便于维护,同时,应充分考虑将来升级及扩展的需要,当需要扩充系统规模或系统升级时,能确保在不影响原有系统的情况下,平稳、方便地扩充相应硬件设备和软件。
3.1.1功能需求
Ø声像资料的上载
可完成传统录像带的上载采集,也提供对外来视频信号的采集;实现高低码流双路同时采集,采集过程中自动抽取关键帧;支持DV25、DV50、MPEG2I25、MPEG2I50、WMV、MPEG4等多种视频格式;支持复合、分量、SDI视频信号的采集;支持单采集、批采集等采集模式。
Ø声像资料的导入
可将各类视频、音频、图片、文本等数字化媒体文件导入eVIAS系统,并可同时对视、音频文件进行格式转换。
支持DVD、CD、P2、蓝光、1394等文件导入。
Ø声像资料的编目
编目软件符合国家电视资料编目标准,同时编目字段可以根据用户实际业务需求进行扩充和修改;利用系统内部的工作流进行编目工作的分配;支持节目层、片段层、场景层、镜头层的多层次编目。
Ø声像资料的存储管理
存储管理模块采用分级存储架构,磁带备份功能实现对重要数据的保护,此外节目资料回调支持分段回调。
Ø检索系统
采用C/S和B/S方式进行检索,简单易用的分类检索,提供全文检索,使用户方便查询媒体资料,检索到的素材可以进行下载。
Ø声像资料的下载
支持控制多种型号的录像机,完成对素材/节目的下载输出工作,并可在节目前后添加彩条、黑场等分割画面。
Ø系统管理
提供对用户、系统配置、运行日志的管理,并可对编目属性、编目界面、存储策略、存储区、检索下载目的地等进行设置。
Ø与第三方平台的结合
系统提供丰富的程序接口,方便与第三方系统进行整合。
3.1.2网络需求
Ø存储需求
视频网络的核心是中心在线存储系统,集中保存所有的视音频数据,其他设备都需要直接或间接的与存储系统连接,因此中心存储系统在实现数据共享的同时必须保证充分的安全性,还要满足存储容量、带宽和容错的要求。
Ø存储设备及存储容量
根据用户需求、系统规模和将来扩展的需要,要求存储中心阵列能达到足够的访问带宽。
要求网络存储设备能够提供足够的素材有效存储空间。
Ø存储管理
存储系统要求能够方便地进行管理和监控,存储子系统本身有日志归档,管理人员能够通过存储设备的日志,了解存储设备的工作状态,及时提示管理人员对设备进行维护。
Ø网络布线需求
eVIAS系统部署要求符合网络布线方式,以保障视频网络在高频、低串扰的网络平台上稳定运行。
在网络设备设计的同时考虑施工布线的距离限制。
第4节系统设计原则
eVIAS在设计过程中需遵循如下设计原则:
先进性
系统的设计、设备选型及工程施工,必须首先符合国家电视广播规范和有关标准,其次符合国际广播电视技术发展潮流,完全适应视音频编辑技术、计算机技术、网络通信技术及系统中其他技术发展的要求。
扩展性
在扩展性方面,充分考虑整个系统在不久的将来即将承受更大的资源存储和检索量,站点将大规模增加的情况,并力求做到在整个系统结构基本不变、现有设备基本无须替换的情况下具有大规模扩展的能力,并同时满足大存储容量及高带宽大幅度增长的需求。
易用性
系统应具备完善的功能,设备操作简单、直观、维护管理方便。
应充分采用先进技术,尤其是在归档回迁、数据库管理、检索技术等方面,要采用领先的智能化技术。
在管理、共享、数据调度等方面充分体现智能化和自动化。
开放性
系统必须具有良好的开放性,能够支持主流的文件格式、压缩格式和相关的主流设备,支持主流的在线和近线的存储设备,满足素材的归档备份、数据交换等需求。
安全性
不论是基础平台、还是各个业务子系统,整个系统设计的必须遵循安全性的重要原则。
在网络系统构建硬件方面,应采用并发技术及相应的虚拟化存储等相应技术,从而保证了网络带宽可以满足该网络的实际需要。
系统硬件选型要以安全性、稳定性为主。
本系统具有检错、纠错能力,具有完善的备份措施。
在系统出现故障时,能够在较短的时间内恢复系统运行。
要求系统能对网络和设备的运行情况进行监测和记录。
可靠性
系统应具有很高的可靠性。
应采用稳定、成熟的先进技术和高质量的设备,整个系统设计要具备完善的应急方案,且应急操作必须快捷和安全。
在系统运行过程中以及进行系统安装时,应指出可能出现的系统故障及具体排除的方法和手段。
确保网络7×24小时无故障工作。
第二章系统设计
第1节总体设计
大洋信息新一代eVIAS系统旨在满足中小型行业用户的应用需求,与传统的大型媒资系统应用方案相比,它简化了网络的复杂性,降低了用户投入成本,抛弃了繁琐的工作流程,提供了更适合的解决方案。
其具备很高的扩展性和安全性,可非常方便地通过增加功能站点实现扩容,完全能够满足用户不同时期的需求,实现用户投入成本的最优化。
eVIAS集声像资料数字化、存储、编目、检索和再利用于一身。
它以类似Windows的资源管理器为核心,可以实现视音频文件、图片、电子文档、工程图纸等各类型资源的统一管理和智能编目,并且提供多种高效的检索手段,实现视音频信号的多格式采集上载、数据文件的快速导入导出和分段下载以及高/标清文件的安全存储。
eVIAS系统在结构上主要分为eVIAS智能数据中心、分级存储管理系统、分布式服务集群系统、专业声像处理客户端、非编第三方工作站,系统运行于存储网络等,用户可以根据实际需求灵活配置。
系统结构图如下:
系统结构图
ØeVIAS智能数据中心
eVIAS数据中心服务器主要提供后台数据服务,主要包括数据库服务器、应用服务器、Web服务器、流媒体服务器等。
Ø分级存储管理系统
分级存储管理系统采用分级存储架构,它将存储系统划分为在线、近线和离线三个存储区,各个存储区将根据实际应用要求配置相应的存储设备。
三个存储区域由归档迁移系统统一管理调用,共同完成数据对象的存储、交换和维护任务。
Ø分布式服务器集群
分布式服务集群,主要提供数据转码服务、图片格式转换、文档格式转换、水印叠加等服务。
ØeVIAS资源管理客户端
eVIAS资源管理客户端为用户主要的客户端操作工作站,提供视音频采集、编目、导入、导出等核心功能,整个前台应用操作都在资源管理客户端中完成。
Ø第三方非编工作站
第三方非编工作站,及其他系统内工作站,都已采用BS方式访问eVIAS系统,进行资源管理。
同时非编类资源可以通过接口代理实现资源提交和回迁。
1.1系统架构
eVIAS系统采用成熟的技术架构,整个系统的架构采用业界最优秀的一批三方集成系统。
整个系统架构如下:
系统架构图
Web应用
系统的核心平台是采用了J2EE体系技术架构,其基本业务功能是由一系列的组件和业务对象来提供的。
这些组件对于系统的松耦合,系统开发一致性都有关至关重要的作用。
这种良好的基于组件的设计,保证了系统的灵活性,使可配置、易集成、好扩展的优良特点得以体现。
Apache为Web服务器及流媒体服务器
Apache是最成熟、功能最强大的Web服务器,我们使用Apache提供对静态文件的快速高效服务。
视频点播系统采用目前互联网视频点播的主流方案,即HTTP模式的流媒体技术。
该方案能够为企业级应用提供基于H.264高质量流媒体服务。
Tomcat应用服务器
Tomcat服务器是一个开放源代码的Web应用服务器。
因为Tomcat技术先进、性能稳定,成为目前比较流行的Web应用服务器。
支持主流关系数据库
支持所有主流关系型数据库如SQLServer,Oracle,DB2,Mysql等。
支持各种浏览器
整个界面采用标准的HTML/CSS/Javascript开发,不需安装任何特殊插件,可在IE、Firefox、Chrome等浏览器中流畅使用。
文件系统
数字资源对象在文件系统中存储,所以可用于任何可访问的文件存储设备。
系统在线存储可集成IP-SAN、NAS和SAN存储等技术,进行存储可以支持数据流磁带库、虚拟带库等技术,用户可根据带库选择SCSI、SAS或FC接口方式。
资源格式转换处理
提供一个专门的资源格式转换处理服务器(eVIASService)作为Windows服务。
1.2系统安全
系统的安全包括很多方面,在一个综合性的业务网络中由于多个业务体系的存在,各个业务体系的应用业务特点决定了其应用对象以及数据入出口衔接是存在差异的。
这样也就给系统安全体系提出了新的要求。
首先是要保障各个业务系统在其业务范围以内的系统安全,同时要保障业务系统IT化互联之后的综合系统安全,在最低限度上应该保证一个子业务系统的安全性风险不会通过网络扩散到其他的子系统中。
因此我们需要对各个子业务系统进行安全性分析,以及风险评估。
以保所设计的系统在投入使用之后的持续安全。
在整个系统中,我们分别从物理安全、数据安全、网络安全、系统冗余几个角度来论述系统安全设计思路。
1.2.1设备安全
设备安全是保护计算机网络设备、视音频设备设施等免遭地震、水灾、火灾、电力故障等环境事故以及人为操作失误或错误而导致的破坏。
保证物理安全的具体措施包括。
Ø系统中所有核心设备集中部署在专业中心机房内,机房内铺设防静电地板,采用独立空调制冷,每天定时监测机房内温度、湿度、空气洁净度等指标,确保符合设备正常运行的要求。
Ø所有机架的电源分两路独立供电,对于关键服务器的供电使用UPS不间断电源,服务器及关键存储、交换设备等均配置冗余电源,分别接在两路电源之上。
Ø设备上架之后按照布线标准连接网线、电源线、键盘鼠标显示器线等。
所有线缆均以色环或标签进行标示,线缆插拔时不得有相互干扰。
机架外线缆一律置于地板之下,室内无明线散线。
对于进出机房的人员进行严格控制,严禁闲杂人等入内。
对于机柜的前后门钥匙统一管理,不得随意打开机柜门进行操作。
1.2.2数据安全
数据的安全性主要指确保系统中的数据在存储传输过程中的完整性,在任何情况下都不会发生数据丢失、数据损坏和数据错误。
对于所有IT系统来说,数据都是整个系统中最有价值的东西,所有的视音频文件都以数据的形式存储在磁盘阵列或数据流磁带中,一旦发生损坏或丢失,整个业务将完全中断,而且很多节目都是不可再生的,损失将无法弥补。
实现数据安全的最基本手段就是冗余,通过对一份数据创建多个副本来实现数据安全。
在该系统中我们采用在线、近线和离线三级存储模式,将高码率资源离线存储在数据流磁带上,并且可以将重要的素材备份存储在两盘数据流磁带上做安全备份。
另外在线存储的数据可以归档存储到数据流磁带做备份存储。
数据库中的元数据信息也可以备份到在线存储和数据流磁带。
对于在线存储的低码率素材,可以配置实用具有高度安全性的FC中心存储体,该存储体通过RAID机制保证其存储数据的安全。
对于系统内元数据的存储,元数据存储在数据库服务器当中,数据库的存储采用了1+1的RAID1保护机制,有效保证了元数据的安全。
1.2.3网络安全
声像资料系统的建设除了需要考虑到系统自身的应用安全以外,还要着重考虑该系统作为全网业务系统中的交互枢纽与其他第三方平台互联时,由于不同安全级别系统的互联而造成的安全性隐患。
对于这个问题目前的解决方案是在各个不同安全级别的应用之间,增加网络隔离设备,对系统互联的数据信息加以限制,保证仅仅只有符合应用需求的数据信息通过,将其他的网络应用强制性切断,完成对业务系统的隔离保护。
包括本身的操作系统安全,用户认证安全,跟第三方网站互联互通的安全等。
1.2.4系统冗余
网络链路及设备冗余、服务器双机热备、高可用技术和负载均衡技术都可以用来实现对应用程序的保护,避免单点故障,但不同的技术有不同的特点和适用范围,可以在不同场合分别使用。
在系统中转码服务器、传输服务器、Web服务器、应用服务器、流媒体发布服务器等均可通过程序自身的配置或第三方软硬件配置实现负载均衡,任何一个节点的应用中止后,其他节点可以自动接管其上的任务,保证连续性。
1.3系统扩展
系统部分功能占用cpu比较多,在大量用户使用的时候,可能导致性能的瓶颈。
随着用户使用人数的增加,系统能够在如下方面平滑扩展,按需适应:
Ø存储规模可以通过第三方存储扩容方式,平滑升级;
Ø使用多台计算机、开启更多的服务进程来提供服务,利用apache的负载均衡功能来分配请求。
Ø将耗时的资源格式转换工作利用分布式集群分布式处理,这样可以避免冲突,提升响应速度。
比如文档转换、视频格式转换等。
第2节系统软件模块设计
eVIAS系统各个软件模块可以在实际项目中按需部署,各个模块设计部署需求如下:
2.1eVIASWeb数字资源管理软件
eVIASweb服务主要提供资源管理浏览查询等Web服务,部署于应用服务器,可跨平台(windows/linux)部署。
系统建议要求:
⏹ApacheTomcat
⏹ApacheHTTPServer
⏹ApacheActiveMQ
⏹ApacheLucene
⏹WindowsServer2008/RedHatEnterpriseLinux
eVIASWeb服务采用Java开发,亦可支持其他商用应用服务器。
2.2eVIASService高性能数字格式转换服务软件和eVIASArchive归档服务软件
eVIASService和eVIASArchive系统基于Windows技术开发。
所以系统建议安装WindowsServer2008。
该平台主要运行eVIASService,作为独立的数字格式转换服务,同样运行eVIASArchive需要访问在线存储系统和近线存储系统。
2.3eVIASClient专业声像处理客户端软件和eVIASAgent连接代理模块软件
eVIASClient、eVIASAgent基于Windows技术开发。
系统建议安装
Windows7
2.4浏览客户端
eVIAS核心用户应用都是基于Web网页操作,客户端可以支持以下浏览器:
⏹MicrosoftInternetExplorer(IE)
⏹MozillaFirefox
⏹AppleSafari
⏹GoolgeChrome
其他基于采用了IE和Safari双核浏览器,类似360浏览器亦能支持eVIAS,但是不在我们正式发布的支持列表内。
客户端操作系统包括WindowsXP/Vista/Windows7及AppleOSX。
第3节系统功能设计
eVIAS与传统广电领域媒体资产管理类产品比较,有许多独特的地方,并且新的功能在不断持续增加和完善中。
以下是eVIAS声像资料数字化管理系统主要功能介绍。
3.1资源管理模式
eVIAS系统广泛借鉴了Web2.0的设计思想,秉承以“用户为中心”的资源建设理念,通过多种技术手段,实现资源交互与共建。
可以实现用户个人资源管理、群组公共资源、业务关联资源管理等多种资源管理模式,摆脱传统的完全由管理员管理资源的模式,将资源管理、资源建设融入到日常业务工作过程中,实现资源管理的专业化和特色化。
目前可以实现面向个人、公共资源、业务资源三种资源管理模式。
3.1.1面向个人的资源管理-Workspace
eVIAS每个用户都具有自己的个人资源存储空间,用户自己可以上传管理自己的数字内容,并且可以共享给他人。
也可以将自己感兴趣的内容收藏到个人工作夹中。
3.1.2面向群组/部门的公共资源管理
eVIAS提供面向部门群组的公共资源区,群组内可以共享资源,可以按照部门及资源管理类别自定义组织资源;群组资源可以有选择的开放共享其他不同的角色和用户。
3.1.3基于业务对象资源管理
在很多行业里,声像资源主要服务企业业务过程,所以针对这部分声像资源管理主要围绕实际业务管理对象展开。
eVIAS可以通过对象扩展方便自定义业务管理对象,通过复合数字对象定义实现适配业务过程的声像资源管理。
比如城建档案行业里,管理城建档案类数字对象都是通过档案级,以档案城建工程项目->城建单项工程->城建档案卷->城建档案文件级->档案声像资料实体文件模式逐级管理。
3.2资源管理对象
eVIAS将非结构化和结构化数据都定义为资源,使得非结构数据存储的基本元素就是资源本身,而所有数字对象元数据都在关系数据库中保存。
所以,eVIAS能够存储和管理各种各样的非结构化数据,实现了数据库系统数据管理到内容管理的转化。
eVIAS采用了面向对象的基石,将企业业务数据和商业逻辑紧密结合在一起,特别适合于表达复杂的数据对象和多媒体对象。
3.2.1视音频、图片、文档等数字对象
eVIAS实现了多种不同多媒体格式资源的整合,包括视音频、图像、文档、flash动画等,同时实现了组成结构复杂的不同类型资源的集合,如单文件、多文件、多级目录等。
⏹视频类文件支持AVI、MXF等类封装;编码格式支持MPEG2_I、MPEG2_IBP、DV25、DV50、H.264等;
⏹音频类包括MP3、WAV等;
⏹图片类文件支持JPG、TIF、BMP、PNG等;
⏹文档类支持:
DOC、RTF、XLS、PPT、PDF等格式;
以上文件都能支持自动识别,浏览格式自动转换,其他数字文件都可以普通文件形式存储。
多格式资源整合
3.2.2复合数字对象
复合数字对象是一种复合型的数字对象,即包括文档、图像、音频、视频等类型数字对象的复合体。
eVIAS支持复合数字对象的管理,可以通过自定义的复合数字对象格式,实现管理资源类支持,并且可以自定义复合对象的编目结构描述属性,支持资源间嵌套和关联,实现对业务类复杂的对象统一管理。
下图所示为一个文博藏品类复合数字对象。
3.3资源管理组织
资源的管理组织是通过良好的导航系统实现资源快速定位查找。
eVIAS采用比较通用的左侧导航树方式作为核心组织方式。
3.3.1自定义文件夹导航树
导航树最常用的导航就是采用自定义文件夹方式结构树,个人资源管理及公共资源管理都采用自定义文件夹方式。
熟悉的文件和文件夹结构,使用户更容易浏览和导航。
组织资源到文件夹、嵌套的文件夹创建,可以方便实现你的资源管理的特定需求结构。
自定义文件夹导航
3.3.2结构化分类导航树
对于已经进行元数据编目的资源对象,eVIAS可以根据某个分类元数据的按分类方式进行组织。
结构化分类导航树
3.3.3智能条件树
智能条件树也是一种自定义的结构树,但是智能条件树每个节点都是通过配置一个检索条件形成资源聚合节点,所以智能条件树并非传统意义上的用来存放用户文件的文件夹,它还具备了方便用户在系统中快速查找到所需文件的作用。
智能条件树是一个有效的资源分类浏览模式。
这种组织模式特别适合于类似图片、文