电视台媒资存储系统研究.docx
《电视台媒资存储系统研究.docx》由会员分享，可在线阅读，更多相关《电视台媒资存储系统研究.docx（9页珍藏版）》请在冰豆网上搜索。
电视台媒资存储系统研究
哈尔滨工业大学
工程硕士学位论文开题报告
研究生李文哲
入学时间2014年3月
导师温东新
论文题目电视台媒体资产存储系统设计
院（系）计算机
工程领域媒体、IT
开题报告日期2015年10月31日
研究生院培养处制
1.课题来源及研究的目的和意义1
1.1课题来源1
1.3研究的目的和意义1
2.主要研究内容3
2.1媒资存储网络架构3
2.1.1媒资系统拓扑结构3
2.1.2DAS、NAS、SAN存储网络对比分析4
2.2核心在线存储的技术要求与功能分析7
2.2.1硬件要求7
2.2.2不同RAID级别的可靠性、可用性8
2.2.3StorenextFileSystem（SNFS）9
2.3媒资及电视台其他系统发展趋势10
3.研究方案11
3.1技术路线11
3.2关键技术11
3.3技术措施11
3.4技术条件12
4.进度安排及预期达到的目标13
4.1进度安排13
4.2预期达到目标13
5.研究过程中可能遇到的困难和问题及解决措施14
6．主要参考文献15
1.课题来源及研究的目的和意义
1.1课题来源
本课题来自黑龙江电视台媒体资产管理系统升级改造项目，对其中存储网络部分进行研究、设计。
1.2国内外研究状况
国内大多电视台的媒资系统仍在建设当中，对其中存储设备的应用基本相同，基于各电视台特点有所不同。
黑龙江电视台媒资系统起步较早，目前已经正式工作数年，对不同存储设备在其中的意义有深刻了解。
离线存储方面国内同行业主流采用LTO数据流磁带库（LTO5,LTO6），随着蓝光盘技术的发展，蓝光磁带库等一些其他离线存储产品也加入竞争。
在线存储方面非常成熟基本都是用磁盘阵列，但随着闪存盘的价格降低，将来一定会有闪存阵列出现在媒资系统中。
数据库存储介质方面，目前磁盘阵列仍是主流，但由于媒资系统是一个不断积累，用户查询量大，信息量大的系统，闪存数据库是将来的发展方向。
1.3研究的目的和意义
媒体资产管理（媒资，MediaAssetManagement，简称MAM）系统是是对各种类型媒体资料数据，如视音频资料、文本文件、图表等进行全面管理的完整解决方案。
电视台对素材处理一般分为采、编、播、存。
采即用录像机、照相机、录音笔、互联网采集等方式收集素材；编即使用非线性编辑软件对采的素材进行二次加工，使其方便观众理解，取其精华、去其糟粕；播就是将编辑好的素材通过播出系统传入千家万户的电视机前。
存作为媒体资产管理系统的主要功能，其目的是将现有的影视节目进行数字化或数据化，并采用适当的方式编码，再记录到成熟稳定的媒体上，达到影视节目长期保存和重复利用的目的，以满足影视节目的制作、播出和交换的需要。
各种存储设备可以说是媒资系统的核心所在。
媒资系统中存在着多种类型的存储设备，如离线存储设备，在线存储设备，数据库存储等，以其不同的特点在媒资系统中起着重要的作用。
结合黑龙江省电视台的媒资升级改造项目，对媒资系统存储设备的可用性、可靠性、可维护性、可服务性进行研究与讨论。
2.主要研究内容
2.1媒资存储网络架构
2.1.1媒资系统拓扑结构
媒资系统拓扑结构图，图1所示。
采用SAN+NAS的存储网络方案。
图1媒资系统拓扑结构图
光纤链路部分：
光纤交换机博科5100
（1）与5100
（2）在中心机房，博科300在上载机房。
博科300通过两根300米长的单模光纤链路，分别接入5100
（1）与5100
（2）。
离线存储STK磁带库有8个驱动器，分别接入两台5100。
在线存储EMCNVX5500的A控与B控各通过4根光纤接入两台5100。
其中A1,A2,B1,B2接5100
（1），A3,A4,B3,B4接5100
（2）。
NAS服务器、流媒体服务器、下载归档服务器、转码服务器等对带宽要求高的中心机房服务器通过光纤接入两台5100，以直接访问在线存储。
形成SAN存储网络。
上载机房中，14台上载站点通过光纤连接到博科300，通过虹桥卡将采集到的信号直接上传到在线存储NVX5500。
以太链路部分：
有中心机房的核心交换机Cisco7609和上载编目机房的接入交换机。
所有的中心机房服务器，都接在媒资核心交换机上，编目站点、上载站点、审核站点接在上载机房的接入交换机上。
非光纤站点及非光纤接入服务器需要访问存储中内容时，通过挂在NAS访问。
外系统，如播出系统、全台网、制作网需要从媒资中上下载高清素材时，通过对应的NAS服务器获得。
2.1.2DAS、NAS、SAN存储网络对比分析
作为目前三种常见的存储方式，被广泛应用于企业存储设备中,他们有着各自的特点。
一、DAS存储特点（直连存储）
DAS这种存储方式与我们普通的PC存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部份，DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。
DAS已经存在了很长时间，并且在很多情况下仍然是一种不错的存储选择。
由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率，因此，虽然在一些公司中一些新的SAN设备已经开始取代DAS，但是在要求快速磁盘访问的情况下，DAS仍然是一种理想的选择。
更进一步地，在DAS环境中，运转大多数的应用程序都不会存在问题，所以你没有必要担心应用程序问题，从而可以将注意力集中于其他可能会导致问题的领域。
二、NAS存储特点（网络直连存储）
NAS（网络附加存储）方式则全面改进了以前低效的DAS存储方式。
它采用独立于服务器，单独为网络数据存储而开发的一种文件服务器来连接所存储设备，自形成一个网络。
这样数据存储就不再是服务器的附属，而是作为独立网络节点而存在于网络之中，可由所有的网络用户共享。
同时NAS存储真正做到了即插即用，并且部署起来也相对灵活，再加上管理成本低，是目前企业选择较多的，但它同时也有存储性能低和可靠度不高等缺点。
三、SAN存储（光纤存储）
SAN存储是基于光纤介质，最大传输速率达17MB/s的服务器访问存储器的一种连接方式，同时SAN也是最昂贵和最复杂的存储选项，SAN存储方式创造了存储的网络化，存储网络化顺应了计算机服务器体系结构网络化的趋势，SAN的支撑技术是光纤通道（FCFiberChannel）技术，它是ANSI为网络和通道I/O接口建立的一个标准集成，FC技术支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议，其最大特性是将网络和设备的通信协议与传输物理介质隔离开，这样多种协议可在同一个物理连接上同时传送。
IPSAN与FCSAN对比
如今的SAN解决方案通常会采取以下两种形式：
光纤信道以及iSCSI或者基于IP的SAN。
光纤信道是SAN解决方案中大家最熟悉的类型，但是，最近一段时间以来，基于iSCSI的SAN解决方案开始大量出现在市场上，与光纤通道技术相比较而言，这种技术具有良好的性能，而且价格低廉。
相对于IPSAN，FCSAN的弱点是明显的。
它无法使存储设备随它在Internet上运行，从而无法满足应用前端对存储数据“随时随地”的要求。
FCSAN的物理覆盖也有限。
同时，受限于国内昂贵的租用价格，也许只有中国的电信运营商可以用得起远距离的FCSAN。
而IPSAN最显着的特点就是具有价格低廉以及无限长度扩展的优势。
它的价格是FC无法比拟的，尤其是当用户需要较长的传输距离时，IPSAN的优势就不言而喻了。
这些使iSCSI的发展成了必然，其市场价值是很多服务器和存储厂商看中的，也是无法承担FCSAN高成本光纤基础结构的市场客户所看中的。
通过集SCSI、以太网和TCP/IP等技术于一身，IPSAN的优点可以概述为：
建立在常见和稳定的工业标准上，IT工作人员对IP技术熟悉，容易接受和实施；由于TCP/IP协议附件减少了聘请专业人员的需要，所以安装和维护成本较低，使用iSCSI创建SAN架构，企业总体拥有成本更低；由于减少了不同的网络和布线，使用常规以太网交换机而不必专用光纤通道交换机，很大程度提高了互操作性和成本；传播更为便捷。
可以在全球IP网络上进行以太网传输，实际传播距离没有限制；速度已经提高到10Gbit，将可以和FC网络速率相媲美，甚至更快。
SAN真正的综合了DAS和NAS两种存储解决方案的优势。
例如，在一个很好的SAN解决方案实现中，你可以得到一个完全冗余的存储网络，这个存储网络具有不同寻常的扩展性，确切地说，你可以得到只有NAS存储解决方案才能得到的几百T字节的存储空间，但是你还可以得到块级数据访问功能，而这些功能只能在DAS解决方案中才能得到。
对于数据访问来说，你还可以得到一个合理的速度，对于那些要求大量磁盘访问的操作来说，SAN显得具有更好的性能。
利用SAN解决方案，你还可以实现存储的集中管理，从而能够充分利用那些处于空闲状态的空间。
更有优势的一点是，在某些实现中，你甚至可以将服务器配置为没有内部存储空间的服务器，要求所有的系统都直接从SAN（只能在光纤通道模式下实现）引导。
这也是一种即插即用技术。
SAN确实具有这些伟大的优点，那么，SAN的缺陷在哪里？
SAN有两个较大的缺陷：
成本和复杂性，特别是在光纤信道中这些缺陷尤其明显。
使用光纤信道的情况下，合理的成本大约是1TB或者2TB大概需要五万到六万美金。
从另一个角度来看，虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金，但是其性能却无法和光纤信道相比较。
在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件，而光纤通道技术要求特定的价格昂贵的设备。
DAS、NAS和SAN存储的主要区别
从连接方式上对比，DAS采用了存储设备直接连接应用服务器，具有一定的灵活性和限制性；NAS通过网络（TCP/IP,ATM,FDDI）技术连接存储设备和应用服务器，存储设备位置灵活，随着万兆网的出现，传输速率有了很大的提高；SAN则是通过光纤通道（FibreChannel）技术连接存储设备和应用服务器，具有很好的传输速率和扩展性能。
三种存储方式各有优势，相互共存，占到了现在磁盘存储市场的70%以上。
2.2核心在线存储的技术要求与功能分析
根据电视台媒资系统的特殊性，对在线存储设备的可靠性、可用性有以下需求：
1）具备8个以上主机连接通道，通道接口标准8Gb/s光纤通道，所有主机连接通道采用模块化端口设计
2）双活动RAID控制器，每控制器内存不低于8GB
3）硬盘：
支持600GB10krpmFC磁盘、600GB10krpmSAS磁盘、600GB15krpmSAS磁盘和3TB7200rpmSATA磁盘
4）系统容量要求：
SATA磁盘容量270TB
5）要求说明RAID级别，支持RAID0、1、3、5、10、6，硬盘冗余备份方式，并提供5％的冷备盘，每年磁盘故障率低于5％
6）磁盘阵列前端带宽≥2GB/s
7）磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下降
8）风扇和电源采用多冗余，热更换
9）采用行业标准19英寸机架
10）磁盘阵列支持配套的图形化管理与配置工具软件
11）管理软件：
随机配置存储管理软件；配置LUN屏蔽软件，提供在线性能监控
12）磁盘阵列本身具有容错特性、支持在线动态磁盘扩充，动态卷扩充
13）SAN支持：
支持通用FC交换机
14）支持以下OS：
IBMAIX，HPUnix，Windows，linux，Solaris，可与stornext等文件系统良好兼容
15）95块3TBSATA盘90块上线，包含配套盘箱、电源和连接线等相关配件
2.2.2不同RAID级别的可靠性、可用性
RAID是“RedundantArrayofIndependentDisk”的缩写即磁盘阵列的意思。
RAID就是把硬盘做成一个阵列，而阵列也就是把硬盘进行组合配置起来，做为一个整体进行管理，最关键的是这个阵列的磁盘之间具有冗余容错处理，这样可提高磁盘之间相互的安全性和稳定性，不存在“单点”硬盘现象，也就说不会让某些硬盘读写频繁，其他的硬盘可能数据交换较少的现象，从而提高硬盘的安全性，同时磁盘的整体管理会提高读写速度，使硬盘的利用发挥到最大。
针对可靠性、可用性对不同的RAID级别进行研究。
常用的RAID级别有：
RAID0即无差错控制的带区组，就是将N块硬盘，当一块硬盘来用，比如是两块硬盘，使用RAID0阵列配置，则是将数据平均的分成两部分，分别写在两块硬盘上，很明显，这样做的效果，就是极大的提高了读写速度，但其致命的弱点是，各硬盘之间数据没有校验功能，一旦其中任何一块硬盘出现问题，则整个数据不能被恢复。
所以RAID0能有效提高读写速度但是不能保证数据安全。
RAID1即镜象结构，也就是一半空间用来存储，一半空间是用来备份的。
但实际数据并不是单独存储在某一半硬盘。
RAID1的读写数据并没有提高，属于正常的读写速度。
RAID1的磁盘空间使用率只有50%，是一种不计成本，不能提高读写性能，只为数据安全。
RAID3即带奇偶校验码的并行传送，RAID3是在RAID2的基础上做了一个升级，只能查错不能纠错，其读写方式同RAID0，并行处理，速度很高，不同于RAID2，RAID3使用单块磁盘存放奇偶校验信息，如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据。
如果奇偶盘失效，则不影响数据使用。
RAID3对于大量的连续数据可提供很好的传输率，但对于随机数据，奇偶盘会成为写操作的瓶颈。
利用单独的校验盘来保护数据虽然没有镜像的安全性高，但是硬盘利用率得到了很大的提高，为n-1。
实际应用中也非常之少，一般而言属于研究类或试验室的理论上的的RAIDlevel，在我们实际商业应用中非常少。
RAID5可以理解为是RAID0和RAID1的折中方案。
RAID5可以为系统提供数据安全保障，但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。
RAID5具有和RAID0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。
同时由于多个数据对应一个奇偶校验信息，RAID5的磁盘空间利用率要比RAID1高，存储成本相对较低，是目前运用较多的一种解决方案。
RAID6可以理解为RAID5的升级方案。
与RAID5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。
当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，具体形式见图。
这样一来，等于每个数据块有了两个校验保护屏障（一个分层校验，一个是总体校验），因此RAID6的数据冗余性能相当好。
但是，由于增加了一个校验，所以写入的效率较RAID5还差，而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。
基于电视台媒资系统对数据安全以及性能的要求以及对成本的考虑，最终数据存储划分为Raid6，源数据存储划分为Raid1。
2.2.3StorenextFileSystem（SNFS）
SN文件系统，是由多个某操作系统能识别的最大卷（对于32位的windows就是2TB，或者比较大的卷），组合成StripeGroup，再由实现不同功能的StripeGroup组合在一起的文件系统。
一个SN文件系统，对于SN的客户端来说，就是一块可以本地连接的本地硬盘。
一个SN文件系统，需要由3种StripeGroup构成，分别是META、JOURNAL、DATA。
METAStripeGroup最小应具备一个不小于100GB的LUN；JOURNALStripeGroup最小应具备一个不小于50GB的LUN；DATAStripeGroup所包含的LUN最好一样大，且数目最好是2或4的倍数。
（经验上一个StripeGroup包含4个LUN时的性能最好，所以建议一个StripeGroup最多包含4条LUN，也可以为2条LUN）一般，一个SN文件系统将由1个METAStripeGroup，1个JOURNALStripeGroup和多个DATAStripeGroup构成。
可根据具体项目所需访问带宽，安全系数，维护难度等纬度来设计。
双活RAID控制器等其他技术的优势研究。
2.3媒资及电视台其他系统发展趋势
随着时间的推移，媒资系统中资料越来越多以后，对各种存储设备的维护，保养费用，资料管理难度，需要的人力成本进行分析。
展望媒资系统中存储设备的发展方向。
媒资、制作网、播出等现有网络的资源如何进行虚拟化，数据中心设立（私有云）的设想。
分析数据中心、虚拟化的优点与劣势。
3.研究方案
3.1技术路线
3.2关键技术
搭建电视台媒体资产的存储系统需要的关键技术有：
FCSAN存储网络，用以保证资料在离线存储中快速、稳定地传送到在线存储中；带宽要求高的服务器与站点能高效访问在线存储。
NAS存储网络，为编目站点和其他系统提供稳定带宽，后期扩容简洁方便，建设成本低。
双活RAID控制器、RAID6、RAID1，保证在线存储磁盘阵列高效、稳定。
虚拟化，分布式存储技术等。
3.3技术措施
采用SAN+NAS存储网络方案，保证系统稳定的前提下节约成本，降低实施的复杂度。
采用磁盘阵列技术使得前端带宽输出不小于2GB/s，保证磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下降。
3.4技术条件
硬件设备有万兆以太交换机、光纤交换机、200T存储设备、50台服务器、100台工作站点。
经验丰富的现场人员和远程技术支持人员共同完成系统搭建。
4.进度安排及预期达到的目标
4.1进度安排
2015年9月~2015年11月查阅资料，整理参考文献。
2015年11月~2016年2月完成电视台媒资系统存储网络部分。
2016年2月~2016年5月完成磁盘阵列关键技术研究。
2016年6月~2016年9月完成对未来电视台数据中心、虚拟化的设计及关键技术研究。
2016年9月~2016年10月撰写毕业论文。
2016年12月准备答辩。
4.2预期达到目标
本课题最终要完成如下内容：
设计出适合电视台媒资系统的存储网络和在线存储设备。
研究成果符合电视台媒体资产存储系统对可靠性、可用性的要求。
5.研究过程中可能遇到的困难和问题及解决措施
困难：
磁盘阵列控制器的相关技术不了解
解决措施：
请教指导导师与设备厂商工程师讨论、查阅资料。
其他设计中的细节问题，不能查阅到的资料，与指导教师及其他厂商工程师探讨。
6．主要参考文献
[1]陈华英.磁盘阵列RAID可靠性分析[J].电子科技大学学报,2006,03:
403-405.
[2]朱月梅,徐豁,朱玉,滑海.FCSAN与IPSAN架构在数字图书馆中的应用研究[J].图书情报工作,2006,09:
113-116.
[3]谢胜彬,陶洋,王国梁.DAS、NAS与SAN的研究与应用[J].计算机与现代化,2003,07:
8-11.
[4]李晨迅.DAS、NAS和SAN存储方案的比较[J].信息与电脑（理论版）,2014,10:
205-206.
[5]李辉.浅议DAS、NAS、SAN三种模式[N].通信产业报,2003/04/23030.
[6]胡春宇.SAN与NAS融合的存储备份系统的设计与应用[D].电子科技大学,2007.
[7]项利萍.RAID-6存储系统中故障修复问题研究[D].中国科学技术大学,2013.
[8]章宏灿,薛巍,舒继武.一种可扩展分布式RAID存储集群系统[J].计算机研究与发展,2008,04:
741-746.
[9]黄诚,吉萍.基于云存储的媒资管理系统[J].传媒观察,2013,01:
31-32.
[10]张扬,郭森,季平.基于SAPERP信息系统的双活数据中心研究[J].电力信息化,2013,01:
87-91.
[11]唐文杰.基于存储型媒资的制播一体网设计与建设[J].中国有线电视,2011,09:
1060-1065.
[12]王双.基于网络存储技术的高清播出二级存储系统[D].哈尔滨工业大学,2013.
升级会员 