媒资档案管理系统技术方案Word下载.docx

1、 2、现有的管理和保存环境条件有限许多企业由于历史原因，现有的管理和保存环境条件不是很理想，原有的资料查找和检索相对困难，有些珍贵资料保存也出现危机。3、资料管理现代化的条件已具备，主要体现在：存储与管理技术的进步，资料再利用的需求，系统建设成本的降低等。而且数字化的文件资料能够长时间保存，质量不会有任何降低，所以，数字资料的存储与管理已经是发展的必然。4、海量存储技术的发展，为数字资料的再次利用打下了良好的保存基础。综上所述，企事业机构建立一个资料丰富，保存条件好，编目完备的现代化媒资档案管理系统是具备条件且完全是必要的！1.2 建设内容和目标1结合现有主流媒体使用的多媒体资源管理系统和多媒

2、体资源现状，保证系统开发所用技术的先进性，为企业建立一个资料丰富、保存质量高、使用快捷的现代化数字媒体资料管理系统的目标。2系统具备海量存储功能（软件系统支持）。根据现有媒体资源的容量，可以为企业建立媒资档案管理中心，即搭建中心服务器及海量存储设备，实现集中式管理和资源共享，核心服务器以及相关系统设备采用高端服务器集群，并实现核心设备间光纤高速连接。实现对于分散的文档进行集中的、进行长期无损的数字化存储，防止数据资料的散失。3系统具备强大的多媒体处理能力。为了保证多媒体素材今后不同的调用方式，要实现常用格式的输入输出以及格式转换，如一份视频资料能够生成两个码率的文件，高质量的用来长期存储，较低

3、质量的实现网络中的在线搜索、浏览、发布及在线点播。4系统具备高速的数据输入输出能力。媒资档案管理系统要借助现有网络环境进行数据交换及存储，日常数据输入输出的量十分大，系统必须提供相应的数据接口或解决方案来适应这种大容量、集中式的数据交换。如处理多个终端同时向中心系统上传或下载数据的能力。5系统的可扩展性。随着企业不断发展，多媒体资料不断丰富、容量不断增加，系统必须提供一个简便可靠的扩展功能来满足正常上述需要。此外，随着使用需求的不断变化，系统设计时必须灵活，系统管理者维护修改必须简便。如预留更多自定义的系统功能供系统管理者选择。6对于各种类型的多媒体资料，统一格式，详细分类，通过一个系统平台规

4、范化管理。分配不同层面使用者不同的操作权限，保证原始资源安全可靠的长期存储以及分级管理。如经过编辑的资源要与原始资源分别存储，并有一定关联方式，能够方便的被使用者搜索到。对于历史数据的方便、准确快速的检索、实现在线浏览、提取编辑等。7为了快速完成资料整理和上载准备工作，根据资料容量和投资规模可以搭建视频采集、视频编辑和处理、媒体资料上传等功能的媒体工作站：8拟定一套使用规程和管理制度，规定进入媒资档案库文件的内容、格式等标准。在完成资料存储格式的统一后，进行节目资料的编目、标引等整理工作，做到操作简捷、直观，符合规范。1.3 业务需求分析许多企业的历史资料规模大、种类多，既有视音频、也有文档、

5、图片等等，通过对多个案例的实际分析，我们认为，企业的媒资档案管理系统要能够满足如下方面的业务需求： 视音频或平明媒体数据是系统管理的重点内容视音频资料和平明媒体资料具有时间长、格式多样、存储容量大、管理复杂的特点，在整个存储系统中，其数据量所占的比重也最大。所以，科学、合理、高效的管理和存储企业大量的视音频资料，是本方案需要解决的重点。本方案采用主流、先进的数据处理技术，将模拟形式的视音频资料或纸质的平面资料进行数字化转换和制作，并进行有效管理和存储，使大量资料能够通过系统存得好、找得着、调得出。 海量数据存储管理建成的系统存储量要满足存储几十TB、甚至上百TB的数据资料的能力，并随着资料的不

6、断增加实现系统的无缝升级，存储的介质类型要以符合数字化技术潮流和保存时间长的介质为主，重点要考虑到数据长期存储的安全、高效。 足够的数据输入输出能力用户在需要各类数据时，系统应能及时输出所需的内容或提供信号。对音像资料来讲，应该实现包括MPEG-2-I、MPEG-2-IBP、DVSD、DV25、DV50、MPEG-1、MPEG4、AVI等常用格式的输入输出，而且能够实现对WMV等格式的支持，实现网络中的发布与点播。 便捷的分布式数据上、下载系统除了要为企业建立媒资档案中心外，还可以通过网络覆盖企业的分支机构或企业的用户处，使这部分用户也能够及时上传和下载。因此，系统的软件功能要能够通过网络，便

7、捷的连通各部门，并将需要管理的数据及时传输到存储中心，同时，对保存在中心档案库中的数据资料，操作人员通过软件界面，也要能够进行便捷的检索和浏览、输出，最大限度的方便实际工作应用。 快速简捷的编目、标引对资料管理系统要求操作简捷直观符合规范，提供符合标准的编目标引方法，提供良好的编目升级方式。对不同类型的数据需要提供灵活的编目、标引建模体系，满足不同类型数据管理的要求。 易懂有效的资料检索、浏览对于系统中保存的不同类型的数据资料，软件要提供方便、高效的数据检索、浏览能力，能够通过数据建模的任何条件与字段，对资料进行检索、查找。而且，针对不同类型的数据资料，应该能够按照其编目和描述方式灵活的定义和

8、调整检索条件，使用户可以在业务发生变化或增加新的描述字段时，方便地调整检索方案。 可靠的系统安全性能够提供使用者权限的科学分配，提供良好的数据安全机制，可以保障数据的通读性，实现数据的长期稳定的保存。对不同级别的操作人员，能够灵活的控制其使用权限，能够对编目、查询等不同站点实现不同权限的分配，并且对登录系统的人员操作进行全面的日志记录。第2章 系统总体设计2.1 系统设计原则系统设计原则是在满足用户数据资料的采集、编辑、编目标引、存储管理下载输出等业务处理要求的情况下，充分考虑系统的可用性、稳定性、可靠性，同时兼顾系统的先进性、兼容性、可扩展性。1、 系统的功能性、适用性系统应根据企业数据采集

9、、编辑、存储管理、下载输出等业务处理要求进行开发，实现与企业实际业务工作的高度结合，切实提高工作效率。2、 系统的开放性、可扩展性采用成熟、标准的技术和产品，以便于将来与外系统的联接和数据共享；采用模块化设计方法，便于扩展，以适应未来发展需要。3、 系统的先进性系统应采用先进的视音频编辑技术、计算机技术、网络通信技术、存储技术、内容管理技术等等。4、 系统的安全性采用各种有效的安全措施（如数据容错备份、网络隔离技术等），确保网络的安全性。5、 系统的稳定性主要表现在两个方面，一是采用成熟的技术和高质量的设备；二是对网络的关键设备要考虑容错及备份措施。6、 系统的可管理性系统应具有很强的管理能力

10、，以提高节目的制作速度和设备使用调度能力。7、 充分考虑厂商的技术支持本方案全面基于我公司自行研发的Mars Media数据管理软件平台构建，由于管理软件全部为我公司自行研发，所以，拥有对企业集团的最佳支持能力，从实施维护到开发升级，都可以全面满足用户的要求，做到最佳的支持与维护。8、 经济性本方案所有技术选型应该坚持性能价格比最优的原则，同时兼顾维护服务能力和将来的扩展能力，保护用户现有的投资。综上，媒资档案系统的设计目标是：满足用户需求、考虑长远利益、充分保护企业的现有投资。2.2 系统结构设计企业的媒资档案管理系统就是要利用计算机将大量数据资料整理、编目标引、海量存储、以便方便的检索和再

11、利用。对资料的编目体系要按照一个灵活、规范的方式将各类资料分门别类的存放，对其中的所有的信息，不论是文字的，还是声音的、图像的，都加以标引，让使用者从任何角度出发，都能够准确、迅速地找到所需要的数字资料。对不同的资料源也可以采用不同的编目方式，以提高编目效率，同时系统支持多种数据格式的归档存储与管理。根据上述的业务需求分析，本方案将基于我公司成熟的Mars Media多媒体数据管理软件平台来构建整个系统。Mars Media为我公司自行研发的多媒体数据管理平台，经过多个项目的长期实践检验，运行稳定、可靠。从逻辑上讲，Mars Media涵盖了数据内容管理与存储管理两个层面，数据存储为内容管理提

12、供底层的存储支撑服务，内容管理层提供对数据资料的各类业务处理，而且，软件最大限度的基于B/S结构，日常业务操作，包括数据编目标引、检索、浏览、系统管理等工作，全部基于Web界面，操作简单易用。由于软件系统全面基于网络，具备跨网段、跨路由的数据管理能力，所以完全满足企业对总部及分支机构广域范围的数据传送与管理。通过软件的内容管理层，查询、浏览等应用层用户能够对整个档案库进行输入、输出等访问，以进行节目资料的再次处理与利用。因此，基于Mars Media软件平台，并与相关硬件设备的密切配合，可以为企业能源建设一个科学、稳定、灵活、高效的媒资档案管理系统。本方案设计的企业媒资档案管理系统物理结构图如

13、下所示：上图中，系统管理服务器和海量存储设备全部架设在公司的中心档案管理室，包括系统元数据服务器，是系统业务处理的核心，运行元数据管理模块，完成对象建模、编目标引、检索查询、流媒体浏览等核心管理功能，软件基于IE界面，任何通过网络登录到本服务器的终端通过授权，都可以进行各类业务操作。数据存储服务器运行海量数据存储软件模块，连接海量存储设备，将入库整理好的历史数据进行长期保存。根据具体的存储策略，可以将指定的数据完成从磁盘阵列、磁带库、以及磁带架之间的多级归档、恢复，调用。数据存储服务器同时运行数据交换软件，需要上载入库的资料无论是中心还是远端，只要放入指定的目录，交换软件可以通过网络自动监测目

14、标数据的变化，将新增数据及时抓取到中心存储设备，进行数据的编目和入库保存工作。通过数据交换软件，要上载的数据只需存入各自的指定目录即可，都可以自动将数据上传到中心存储设备。为了支持多种数据上传手段，技术方案还提供上传客户端软件，各部门用户也可以通过数据上传客户端，将需要入库的资料传送到存储中心。节目转码服务器运行视音频格式转换软件，完成自动将上载入库的高质量Mpeg-2节目向浏览用Mpeg-4 wmv节目的转换。以及其他数字格式如：avi、DVD、Mpeg-1等资料向标准存储格式的转换。系统重建模块运行于重建服务器中，负责对系统中主数据库、服务器操作系统的自动备份。通过完全、增量、差分等专业的

15、备份方式将数据备份到数据流磁带中。在服务器系统一旦出现问题的情况下，能够快速对系统进行恢复。海量存储设备采用磁盘阵列与磁带库相结合的多级存储方式，按照要求，各配备容量为15TB，并通过SAN存储网络与各服务器连接，是服务器可以统一访问中心的海量存储资源。相关部门配备相应的视音频上下载工作站，运行采集软件，完成模拟视音频资料向标准Mpeg-2存储格式的采集，上载。2.3 数据处理流程方案采用的Mars Media多媒体数据管理平台，由元数据管理模块（MetaServer）、视音频转码模块（FlipServer）、数据交换模块（ExServer）、系统重建模块（RebuildServer）、数据多

16、级存储模块（StorageServer）等组成，配合视音频上下载设备来完成视音频数据的业务处理与存储。而各类型的文档、图片等电子数据则直接可以导入系统，进入档案库的管理体系中。各类多媒体数据导入系统以及从系统中输出、发布的流程如下：2.3.1 数据导入流程数据导入指的是由数据交换软件模块（ExServer）主动对需要上载到系统中的数据进行检测，并将需要管理的数据进行存储、编目、归档等处理的过程。导入过程中，系统认为需要导入的资料是完整的内容资料，不再有任何对数据的再加工或再处理。具体业务流程图如下：数据导入流程图上图流程描述的是全部的处理流程。当交换服务器（ExServer）检测到用户存储的文

17、件有新的时，就会提示是否需要迁移到本内容管理系统中，如不需要则只在数据库中作记录；如需要迁移，则利用交换服务器按类进行资料迁移，在迁移的同时还可进行资料的备份、发布等功能。除此之外，交换服务器还提供在线素材的ftp服务，不能通过交换服务器与本内容系统进行直接交换的客户端，可以通过ftp服务，进行素材的迁移。然后把迁移的相关内容在数据库中作记录。迁移到存储系统中的视频资料，有些本身格式不适合浏览或码流过大影响浏览效果，如需要浏览时则可利用转码服务器（FlipServer），生成预览素材、帧图片以及对素材做其他格式的转换工作。如素材还需要进行编目则可利用元数据服务器（MetaServer）提供的编

18、目功能进行。经过上述三个步骤后的素材，就是用户编辑好的可以进行发布或其他用途的素材。在此，可以进行利用存储服务器（StorServe）对编辑好的素材进行保存，方便用户以后使用。在以上过程中用户可以根据需求，对不同的内容资料选择不同的处理流程。如：非视音频素材是不需要转码过程的。2.3.2 数据输出（发布）流程数据从系统向外部输出、发布的业务流程图如下所示：数据输出流程图如上图，在用户下载或发布素材时需要进行数据输出（发布）流程。主要是指在通过元数据管理软件（MetaServer）提供的检索页面检索到素材后，将内容资料传送到其他系统的过程。具体步骤是首先用户在元数据处理模块根据需要检索定位到所需

19、的素材；然后从存储模块把素材迁移到当前在线状态（即编辑或使用状态）；接着看输出（发布）的需求，是否需要对素材进行转码，若需要转码则调用转码模块对素材转码，使之满足用户需求；最后，利用数据交换模块把整理好的素材迁移到客户端或是其他系统中。整个数据输出（发布）流程可以根据素材类型的不同，用户可以根据模板或手工来配置不同的流程，使之使用更加自动、方便。2.4 本方案的优势2.4.1 体系结构灵活本方案构建的企业媒资档案管理系统中，用户可以灵活的导入、增加各种数据类型，如：视音频、图片、文档（PDF或Word等格式）以及未来可能产生的全新数据资产类型，以适应和支撑不断产生的新媒体、新业务的需求。视频的

20、存储格式采用高质量的、国际标准的MPEG-2 IBP 4:2:2格式，可以向其他各种常用视频格式的转换。用户可以灵活定义和修改原有的数据对象的标引描述，满足不同时期对内容数据的不同描述需求，使数据内容在描述上可以与时俱进。不同类型的数据内容可以使用不同的分类法描述，而且分类法可以允许用户自定义。针对不同类型的数据内容，可以按照其描述方式定义和调整检索条件，使用户可以在业务发生变化或增加新的描述字段时，灵活调整检索方案。2.4.2 强大的视音频处理可以对视音频文件自动进行后台MPEG-4流媒体转换生成，关键帧分析、抽帧等处理，减少人为干预的工作量。视频格式转换应该支持DVD、VCD、DV、AVI

21、、WMV等常用格式与标准MPEG-2存储格式之间的转换。编目时要求实现对视音频的逐帧编辑编目时可以手动添加和删除关键帧，并可以对关键帧进行描述。关键帧的属性可以自定义。数据内容可以添加不同的附属文件，如：宣传海报、相关照片、相关文档等，附件的描述属性要求可以自定义。2.4.3 能够管理各类数据资源本方案采用Mars Media软件平台，该平台完全是基于对象型设计的通用数据管理平台，除专门为视音频数据设计的处理功能外，还具备管理各类不同数据类型的能力，如：word、excel、pdf、dwg、mp3等等。通过数据的交换导入，各类不同类型数据都可以进入系统的管理范围，而且不同类型数据的建模和管理，

22、都可以按照各自的数据特色，分别设计其建模体系，检索方式等，以适应各种不同数据类型的管理需要。2.4.4 海量数据多级存储本方案设计的媒资档案管理系统基于成熟的Mars Media管理平台，支持海量数据的多级存储体系，所谓多级存储，是指在线磁盘阵列、近线磁带库、离线磁带架相结合的数据多级存储体系，软件系统可以按需要将所需特定数据（如：不常用的历史资料）自动归档到磁带库中一份，以实现海量存储设备的最佳性价比，同时确保磁盘阵列中数据的安全，而且存储容量能够无限扩容。2.4.5 成熟稳定的基础软件平台本方案采用的Mars Media 软件平台是一个通过多年实际项目检验的成熟平台，集成各类通用数据对象的

23、管理能力，并且完全融合我公司媒体领域多年的视音频管理经验，具备强大的视音频处理功能，运行稳定、可靠。而且具备多个案例的成功实施、运行经验。所以，通过Mars Media，企业完全能够为企业建立一个科学、稳定、高效的媒资档案管理系统。2.4.6 软件强大的跨平台运行能力Mars Media软件的主体模块全部基于标准的Java架构开发，可以适应任意的操作系统和主机环境，除Windows外，还可以方便的移植到Linux 、Unix等各种不同的操作系统环境中。第3章 系统功能描述由上述的系统结构设计，本方案设计的企业媒资档案管理系统基于我公司成熟的Mars Media软件平台实现，其功能能够分为数据内

24、容管理与数据存储管理两个层面。具体来讲，系统能够具备如下方面的功能：资料整理上载、资料编目标引、数据海量存储、资料查询输出、资料安全控制、业务统计分析、系统维护、网络配置、应用定制开发等功能。具体说明如下：3.1 资料整理上载对于现有模拟形式的音像节目来讲，需要利用数字上载工作站将节目进行数字化处理、上载。按照音像资料处理的标准，上载工作站需要采集、生成高质量的Mpeg-2格式、810Mbps的数据文件，用来进行节目资料的长期保存和二次利用。对高码率视频，本方案的压缩格式采用国际标准的Mpeg-2 IBP 4:2 格式，通过各类标准的硬件或软件都可以进行MPEG-2解码，都能对档案库中存储的节

25、目资料进行回放。根据项目的实际情况，需要配备上载工作站，并通过网络与中心媒资档案室连接在一起。各部门编码生成的Mpeg-2文件首先缓存到工作站本地的存储目录中，中心软件系统的数据交换模块会实时监测各上载工作站的缓存目录，将新压缩生成的高质量数字节目自动抓取到存储中心的磁盘阵列，完成数据由采集编码前端向存储中心的上载。采集生成的高码率MPEG-2节目主要用于节目资料的长期保存、下载输出、以及再次利用等。为保障MPEG-2节目的高质量采集，系统采用专业的上载编码器配合上载软件模块来实现。可以根据具体需要对节目选择不同的码率和GOP组合，充分满足各类需求。高码率MPEG-2动态图像可以实现视音频信号

26、的高保真，满足长期存储和向各类不同应用的视频格式转换要求，以及库存节目进行二次利用、制作的需要。在设计上载整理系统时，主要注重以下几个功能：A、采用先进的分布式组件技术，确保系统组件灵活性和开放性。从而建立了一个易于操作的标准和开放系统平台；只需升级软件和图像卡就可实现系统的扩展和升级。B、采集码率可由用户灵活定义。高码流素材按照存储机制将暂时放到上载工作站的存储体里，通过交换服务器将其传送到存储中心，进入多级存储的管理范围。配合系统提供先进的纯软件转码中心，实现多种不同格式间的互转，生成检索和浏览所使用的低码流Mpeg-4节目等。Mpeg-4节目将直接保存到存储中心的在线磁盘阵列上，以备实时

27、检索和点播。具体采集步骤如下：1建立素材模版在采集数据之前，需要做好准备工作，使用人员可以根据素材类型的不同，编制出不同类型素材的采集模版，供各种素材录入或上传时使用。2采集数据在数据采集过程中，主要是首先由数据交换模块检测用户系统固定的目录内是否有新的文件，如有新的文件且需要上传保存时，则由交换服务器进行数据迁移。如若需要其他效果的视频素材，则可通过转码模块进行转码。如还需编目，则可利用元数据处理模块进行编目。等需要进行的所有操作都完成后即可把素材数据进行保存完成采集过程。对于其他文档、数据来讲，主要通过统一的资料处理，通过数据交换软件，将其从不同来源收集到存储中心，以备作详细编目和统一存储

28、。3.2 视频转码分析上传到存储中心的视音频资料，根据需要可以将采集好的标准Mpeg-2文件转码成浏览码率的Mpeg-4 wmv等格式，通过浏览码率资料进行节目的编目、在线浏览等，完成对视音频资料的全面管理。视频转码模块，还能够方便的实现标准存储格式与各类不同用途的视频格式进行相互转换，以满足库存音像资料的各种不同类型应用，如：在线网络浏览、视频二次编缉、DVD刻录、录像带输出，甚至播出等等。3.3 资料编目标引3.3.1 编目标引建模通过软件系统的元数据管理中心，用户可以灵活、方便的对上载到系统中的各类数据资源进行编目和标引，而且对各类数据资料都能够适用，不管其是视音频、文档、或是其他数据，

29、都能够灵活制定对应的编目体系，对不同类型数据进行描述建模，来适应不同类型数据对象的管理要求。由于视频或音频文件是一种不能由一个具体数值来描述的非结构化数据，如何把这些非结构化的数据转换成可以用数据库来记录的结构化数据，是这个模块所要完成的主要功能。此模块主要具有音像资料类别判定、标引录入、审阅等功能，视频内容的描述是通过元数据来完成的，通过输入属性值来完成由非结构到结构化的转换。由于不同的数字资料分类的方法不同，应用时所要检索和查询的属性也会不同。例如：新闻类的资料比较重视时间性、比较短小，而影视类的资料比较重视题材和故事内容，系统将对不同类型的音像资料定义不同的元数据集，来描述它们。任何音像资料在做标引之前都必须判断其所属类型，选定后系统将自动调用其相应的元数据，生成标引界面供标引工作人员录入。最后，通过审阅的功能，检查标引信息的正确性和完整性，审查通过的标引将进入数据库进行保存。系统对不同数据对象的描述建模体系中应用了先进的XML数据交换技术，从而使各类元数据以及对象模型的定义与增添变得十分灵活。在没有应用XML的系统中元数据一旦被定义就很难再做修改，随着业务的发展，某一天可能因业务或应用需要增加一种对视频描述的新属性，在原先的系统中就需要开发人员重新修改数据库表结构、重新编写代码，这样就会带来很多复杂的开发工作。由于系统利用了XML技术，工作人员应用系