非线性编辑网络存储资源优化策略分析.docx
《非线性编辑网络存储资源优化策略分析.docx》由会员分享，可在线阅读，更多相关《非线性编辑网络存储资源优化策略分析.docx（14页珍藏版）》请在冰豆网上搜索。
非线性编辑网络存储资源优化策略分析
非线性编辑网络存储资源优化策略分析
河南电视台都市频道王虎
【摘要】存储是非线性编辑网络系统中的一个重要部分，存储系统既要满足用户对容量的巨大需求，又要提供足够的IO带宽，还要保证网络的高可用性，本文通过对电视台存储资源面临的问题进行分析，并结合存储本身特点与电视台对存储的要求，分析影响存储性能的各种因素，合理优化存储高可用性方案，使用存储最佳参数，最终目的是将存储资源的作用得到最大的发挥，充分满足节目制作的需求。
【关键字】非线性编辑网络存储资源存储性能高可用性优化策略
一存储资源面临的问题
从90年代开始，国内各家电视台就已经开始了数字化、网络化的建设。
短短几年时间，从最初的设备数字化到制作网、新闻网、播出网和媒资系统等非线性网络相继搭建，又到目前热门的全台数字化网络和高清制作网建设。
随着各种非线性网络的投入使用，电视台的存储环境也随之变得越来越复杂，存储系统也面临足多需要解决的问题：
Ø面对应用程序复杂化、节目形式多样化，如何优化存储性能，满足制作的巨大需求？
Ø素材量呈爆炸式增长，存储面临压力，是硬件升级还是制定有效的管理计划？
Ø存储环境日益复杂，业务连续性要求更高，如何平衡价格与可用性之间的关系？
Ø在财力受限的情况下，如何分配和利用有限的存储资源，获得更高的利用效率？
如何充分地利用存储系统，满足电视台对素材的有效提供、保存要求，同时节约开支，已成为电视台在存储策略方面面临的严峻挑战，对非线性编辑网络存储资源进行策略优化分析就显得愈发重要了。
二存储资源的优化对象和目标
1．电视台对存储系统的要求
存储系统是电视台非线性编辑网络的重要组成部分，电视行业根据自身的行业特点，存储应满足一下要求：
Ø大容量存储；
Ø集中式共享存储；
Ø高稳定带宽并发式存储；
Ø可扩展性；
Ø高可靠性、高可用性存储。
2．存储资源的优化对象
从电视台对存储系统的要求可以看出，存储资源的优化策略要满足如下需求：
Ø性能需求：
以尽可能快的速度，处理不断增长的业务需求；
Ø系统可靠性需求：
必须能够保证数据的安全与完整性；
Ø系统可用性需求：
应能够满足现有业务应用的连续性；
Ø容量需求：
容量总体配置的数量和水平与需求相匹配。
3．存储优化的目标
存储优化的目标简单说来就是“存得更精、放得合适、用得更省、存得放心”。
Ø“存得更精”，是指借用数据压缩技术、定期删除垃圾素材，去除多余数据；
Ø“放得合适”，是指通过自动分层技术将数据转移到适当位置；
Ø“用得更省”是指通过存储资源虚拟化和精简配置等技术，使得现有资源能存储更多数据；
Ø“存得放心”，则是通过备份、冗余、容灾的手段提高存储的高可用性。
三存储设备性能的优化
1．存储性能指标
说起对存储产品的评价，性能永远是第一重要的问题。
关于性能的各种指标有很多：
带宽（Bandwidth）、IOPS、顺序（Sequential）读写、随机（Random）读写、持续吞吐（SustainedThroughput）、突发处理能力（BurstI/O）等等。
作为非线网典型的两个存储架构：
SAN和NAS，常用到的两个评价指标是IOPS和带宽，两者互相独立又相互关联。
IOPS（Input/OutputOperationsPerSecond每秒输入输出次数）：
指的是系统在单位时间内能处理的最大的I/O频度。
带宽（Bandwidth）：
又叫频宽，是指在固定的时间可传输的资料数量，亦即在传输管道中可以传递数据的能力。
IOPS和带宽两者的关系和区别可以用一个形象的比喻来描述：
如果我们把存储设备比做一间会议室，被存取的数据就是前来参加会议或从会议中离开的人，那么带宽性能就是指这间会议室大门的宽度，大门越宽，可以同时进出的人也就越多；而I/O性能是指房门开合的频繁程度，迎来一批前来参加会议的人，就需要打开一次大门，送走一批人也是一样，哪怕这“一批人”其实只是一个人。
由此可见，当我们考察会议室的门设计得是否合理时，必须结合会议本身的性质。
对纪律严明的会议来说，与会者轻易不会凌乱的进出会场，人们在会议开始时统一进入，结束时再统一离开。
对这种情况，门的宽度就十分重要，而是否易于开合则显得不那么关键，反正这扇门在整个会议中只需要开合两次而已。
相反的，对于联欢性质的聚会而言，门设计得太宽除了显得气派之外，并没有什么实际的意义，但是门开合的频率却很重要，因为会有客人频繁的进进出出。
对应到存储设备上，道理也是一样。
大文件持续传输型的应用需要的是充分的带宽性能，而小文件随机读写的应用则要求足够的I/O能力。
在非线性编辑网络中，所传输的数据量是非常大的，同时，系统要求数据有很好的同步，即每秒严格25帧，因此在编辑回放和采集时，对硬盘的读写速度和网络通道的带宽要求比较苛刻，即要求速度高，而且高速度能够持续稳定。
2．存储性能优化策略
（1）选择具有高稳定带宽的存储设备
广电视频每秒由25帧组成，当一个视频的码率为50Mb/s时，正常读写操作需要占用一个恒定的50Mb/s带宽，这个带宽是1/25秒的平均值，而不是常用测试软件测试出来的每1秒内平均值。
存储设备的端口总带宽往往是有波形变化的，广电存储的实际可用带宽不能按波峰加波谷的平均值来计算，而只能以波谷来计算。
比如很多iSCSI存储设备的每秒平均带宽虽然可以达到400～600MB/s，甚至更高，但由于带宽波形变化较大，波谷数值往往较低，且经常每经过几秒就是一个大的降低。
这样若要用在广电行业的系统中，存储设备总可用带宽就必须按最低的波谷数值来计算。
所以那些带宽测试波形变化大的存储不能用于广电行业。
而是要选择测试带宽高且稳定的存储设备。
（2）配置数量合理的磁盘数量
图1磁盘数量影响光纤环路性能
存储带宽主要取决于阵列的构架、光纤通道的大小以及硬盘的个数。
阵列的构架与每个阵列不同而不同，他们也都存在内部带宽，不过一般情况下，内部带宽设计都很充足，不是瓶颈的所在。
光纤通道的影响还是比较大的，一块4Gb的光纤卡，所能支撑的最大流量应当是4Gb/8=500MB/s的实际流量，2块光纤卡才能达到1GB/s的实际流量。
当光纤通道的瓶颈不存在的时候，就需要分析硬盘的个数，如图1，是不同的磁盘数量对光纤环路性能的影响。
从图1中可以看出，如果只配置十几块磁盘，它们就会成为整个系统的性能瓶颈。
任凭其他配置如何奢华，也于事无补。
那么，“足够多”又是多少呢？
对光纤通道存储设备来说，每个光纤通道上的磁盘数量配置50～60块时性能达到最佳。
所以一般中高端存储设备都把每个通道50～60块磁盘设计作为扩展极限，而不是光纤通道技术规定的126块。
（3）多端口并行技术，消除了I/O瓶颈
传统的FC存储设备中控制端口与逻辑盘之间是固定关系，访问一块硬盘只能通过控制它的控制器端口。
在对称式虚拟存储设备中，为了增加存储带宽，存储端口与LUN的关系设置成虚拟的，也就是说多台主机可以通过多个存储端口（最多8个）并发访问同一个LUN；在光纤通道100MB/s带宽的大前提下，并行工作的端口数量越多，数据带宽就越高，如图2。
图2存储多端口并行技术结构图
（4）RAID级别的考虑
常用的RAID级别主要有RAID0、RAID1、RAID3、RAID5，再加上二合一型RAID0+1（或称RAID10）,这些RAID级别的性能比较见表1。
表1RAID级别比较表
RAID级别
相对优点
相对缺点
RAID0
存取速度最快
没有容错
RAID1
完全容错
成本高
RAID3
写入性能最好
没有多任务功能
RAID5
具备多任务及容错功能
写入时有开销
RAID0+1/
RAID10
速度快、完全容错
成本高
RAID10和RAID5的比较（为了方便对比，假定有4块磁盘）。
Ø安全性方面的比较：
其实在安全性方面，毋须质疑，肯定是RAID10的安全性高于RAID5。
也可以从简单的分析得出结论。
当盘1损坏时，对于RAID10，只有当盘1对应的镜像盘也损坏，才导致RAID失效。
但是对于RAID5，剩下的3块盘中，任何一块故障，都将导致RAID失效。
在恢复的时候，RAID10恢复的速度也快于RAID5。
Ø空间利用率的比较
RAID10的利用率是50%，RAID5的利用率是75%。
硬盘数量越多，RAID5的空间利用率越高。
Ø读写性能方面的比较
在读操作方面，RAID10可供读取有效数据的磁盘个数为4，RAID5可供读取有效数据的磁盘个数也为4（校验信息分布在所有盘上），所以两者的读的性能应该是基本相同的。
在写操作方面，因为存储设备中有缓存（cache）存在，RAID5比RAID10会更好一些，因为此时RAID校验是在cache中完成，如4块盘的RAID5，可以先在内存中计算好校验，同时写入3个数据+1个校验。
而RAID10只能同时写入2个数据+2个镜像。
所以要求较高的空间利用率、对安全性要求不是特别高、大文件存储的系统采用RAID5比较好。
相反，安全性要求很高、不计成本、小数据量频繁写入的系统采用RAID10的方式比较好，在非线网络的存储系统中通常都会采用RAID5。
四存储高可用性的优化
1．可靠性与可用性的区别
“可靠性”和“可用性”是两个不同的概念。
Ø可靠性是指产品在规定条件下和规定时间内完成规定功能的能力，其量化指标是周期内系统平均无故障运行时间；
Ø可用性是指系统保持正常运行时间的百分比，量化指标是周期内系统无故障运行的总时间。
举例说明：
A系统每年因故障中断十次，每次恢复平均要20分钟，B系统每年因故障中断2次，每次需5小时恢复。
则A系统可用性比B系统高，但可靠性比B系统差。
所以对于非线性编辑网络来说，提高可靠性需要强调减少系统中断（故障）的次数，提高可用性需要强调减少从灾难中恢复的时间。
一般提高可靠性的同时，也同时提高了可用性。
2．提高存储系统可靠性
通过硬件冗余可以在很大程度上提高存储系统的可靠性，硬件冗余主要是通过在系统中维护多个冗余部件来保证工作部件失效时可以继续使用冗余部件来提供服务。
主要包括一下几个方面：
（1）电源冗余：
电源对于存储设备非常关键了，大多数存储设备都将双电源作为标准配置，并且两路电源可以接入不同的线路。
此外，大部分具有前端缓存的存储设备都有缓存提供了一定级别的备用电池，让整个系统可以有足够长的时间，以便将数据从缓存转移到物理磁盘。
（2）控制器冗余：
中端光纤存储设备一般都采用active-active双活控制器，每个控制器的大多设置4个主机接口，4个磁盘接口。
（3）通道冗余：
通常存储设备都配置有多个磁盘光纤通道接口，这样既能保证存储带宽，又能防止个别通道接口故障而导致数据无法正常读取。
（4）热磁盘备用：
大部分存储设备都可以提供备用的物理磁盘。
这些备用磁盘只在某个磁盘表现出故障迹象或突然失效时使用。
如果系统发现故障迹象，发生故障磁盘中的数据就会被复制到热备用磁盘。
3．提高存储系统可用性
（1）为什么要优化存储系统可用性
网络短时间的中断就可能影响电视台节目制作甚至发生播出事故。
作为业务承载主体的存储资源，其高可用性（HighAvailablity，HA）自然日益成为关注的焦点。
系统的整体可用性，往往取决于它最薄弱的环节，如表2，可以看出存储部分容易出现故障，可用性自然就低，对整个网络系统的可用性影响很大。
表2网络系统整体可用性计算表
服务器部分的独立可用性
99.999%
存储部分的独立可用性
98%
应用部分的独立可用性
98%
整体可用性：
99.999%×98%×98%=96.039%
如何衡量一个存储资源的可用性呢？
Ø一个非线性网络的存储资源不能频繁出现故障，只要发生故障，即使是很短时间的中断，都会影响到节目的制作，甚至于节目的正常播出。
Ø高可用性的存储资源，即使出现故障，也应该很快恢复。
（2）存储高可用性解决策略
部署一套高可用性的解决方案，可能很简单，而且花钱不多；也可能非常复杂，但是代价昂贵。
之所以会出现如此大的区别，主要是因为不同的用户对复制内容及产品性能存在不同的要求。
不同层次业务连续性的相关定义如图3所示。
从图中可以看出不同存储产品的质量与价格是挂钩的，不同价位对应不同的功能。
图3不同存储产品的质量与价格关系图
高可用性，是体现在非线性编辑系统的各个细节中。
从一个典型的系统拓扑来看，它的主要实现层次如下图4所示：
图4非线性编辑系统高可用性实现层次
本地存储设备层次的高可用性，如图中蓝色虚线方框所示，主要从以下三方面考虑：
Ø存储设备个体高可靠
除普遍支持RAID保护技术外，目前的部分高端企业级存储，还采用全冗余设计、镜像缓存等技术来进行自身保护。
这部分设计和使用，侧重在于保证存储设备单个个体内的数据安全。
当存储设备出现全面故障，不能运转时，最多只能保证“数据不丢失”，不能支持“数据持续访问”。
Ø冗余SAN网络
SAN交换机冗余配置，主机光纤通道卡、存储光纤接口双配置，冗余连接等。
这部分设计用于防范通道、接口和网络的单点故障。
Ø双储存架构
如图4中红色虚线部分所示，配置双存储设备，存放双数据拷贝，保证在单个存储服务器出现故障时，首先实现数据不丢失，其次实现业务的连续运行。
所谓“双存储架构”是指为了提供存储设备的高可用性，保障数据的安全性，常用的一种解决方案是再增加一台备用存储设备，用两个独立的存储设备对同一文件进行实时存储。
根据两个存储设备之间工作方式的不同，数据同步和复制机制的不同，可分为两种方式，磁盘设备间数据复制和磁盘设备间数据镜像。
磁盘设备间数据复制：
图5磁盘设备间数据复制结构图
磁盘设备间数据复制的结构图如图5所示。
通过存储自带的磁盘数据复制技术，在两套同一系列的磁盘设备间建立数据复制关系。
对于主机来讲，活动状态的存储设备只有一台。
这台存储设备使用硬件复制技术和备份磁盘之间进行数据复制，保持两个存储设备上的数据一致。
存储系统的数据复制对于主机来说是透明的。
该基于智能存储设备实现的硬件级别的数据复制，无需占用主机设备的系统资源，但是要求主备存储设备的硬件平台相同。
存储设备数据间镜像：
图6磁盘设备间数据镜像结构图
磁盘设备间数据镜像的结构图如图6所示。
通过服务器的逻辑卷管理技术，在两套磁盘设备间建立数据镜像关系。
两套存储设备同时处于活动状态。
主机在写数据时，会同时写入两套磁盘设备中。
该方式能投提供最佳的持续可用性，当一台存储设备出现整机故障时，由另外一台存储设备独立工作，应用不会受到中断。
总之，部署高可用性的解决方案时，存储管理员们在做决定时都会考虑到价格与容错性能，双方面的因素都必须兼顾，综合评估各项参数，挑选出性价比最高的方案。
五分配和利用存储容量制定切实的计划
1．优化利用存储容量的必要性
在搭建非线性编辑网络时，存储容量是作为存储子系统的一个关键要素被考虑的。
因为存储设备及其配套部件都是价格不菲。
在财力有限的情况下，存储容量不可能无限的增大，我们要做的就是对存储容量进行合理的利用和分配。
在节目制作中，记者编辑通常会养成一些不好的习惯，主要表现在以下几个方面：
Ø整盘磁带全部上载，无人值守
记者编辑在用磁带上载素材的时候，不采用打点批量上载的方式，而是整盘带子的采集，本来是一个几分钟的成片节目，却上载了60分钟或更长时间的素材。
这样使得大量无用素材进入存储设备中，不仅给节目制作带来不便，也照成了存储资源的极大浪费。
Ø不及时删除库中的无用素材
有些记者编辑在制作节目时，只知道一个劲的上载素材，直到系统提示网络空间不足的时候才想起删除无用的素材，没有养成一个整理素材库的良好习惯。
Ø导入大段视频素材
现在随着节目形式的千变万化，素材的来源也不仅仅局限于磁带了，而是有多种途径，比如网络素材、DVD视频、摄像头视频等等，这些文件形式的素材需要导入到素材库中，有些其实只是需要其中的一个镜头或一个几分钟的片段，记者却不知道使用第三方软件进行剪辑，而是全部导入，经常发现有的记者需要几个镜头，却导入一个超千兆的文件。
Ø不及时清理回收站里的垃圾素材
有的记者编辑也知道把无用的素材或节目删除掉，以为这样就完事了，其实素材并没有被彻底删除，而是在回收站中，如果不及时清理回收站，素材仍然在存储设备中。
还有一些程序上的不当设置、空间的分配不合理也同样会照成存储容量的利用率降低，这就需要进行优化，通过一套合理可行的策略使存储容量得到最大限度的利用。
2．存储容量的优化对象
存储容量优化策略如图所示
图7存储容量优化策略图
从图7中我们不难看出，存储资源使用量=存储量×占用时间
显然，减少存储量和减少存储占用时间都可以降低存储容量资源的使用量，所以存储容量的优化对象是存储量和占用时间。
3．存储容量的优化策略
（1）降低存储容量的占用率
可以从一下几个方面降低存储容量的占用率。
Ø设置合理的节目制作码率
所谓码率，是指每秒时间内的数据流量。
码率越高，对画面的描述就越精细，画质的损失就越小，所得到的画面就越接近于原始画面。
但同时也需要更大的存储空间来存放这些数据，目前常用的标清码率有高质量制作50Mbps（压缩比3.3:
1）和一般制作25Mbps（压缩比5:
1）。
对于新闻节目采用25M码率，综艺类节目可以采用50M码率。
Ø脱机挑选素材
为了减少素材的上载量，同时也为了节省上载占机时间，对于节目源是磁带的，可以在传统对编系统上对素材做个粗剪，对于节目源是外来文件的，可以通过第三方视频编辑软件（比如格式工厂、绘声绘影等软件）进行打点转码生成一个新的文件，再导入到非编软件中。
Ø采用合理的素材上载方式
编辑过程中如果不加筛选的将所有素材全部上载，这样不但占据了很多存储资源，而且寻找素材也很麻烦，大大降低了工作效率，如果能对素材做详细的场记，情况就大不一样。
一般非线编软件对素材的采集提供了三种方式：
手动单采集、定长采集和遥控批采集。
利用批采集的功能，设置好欲采集一段或多段素材的入出点，得到一个批采集列表，系统会自动搜索到设置的素材入出点进行采集。
这样，节目片比就很小，废品素材也就限制在很小的范围内，既节约了硬盘资源又易于查找素材，提高了制作效率。
Ø及时删除清理不用的素材和故事板
当节目下载或播出后，应把所有原始素材删除干净。
但是，许多人都做不到，时间久了导致系统空间很容易爆满。
如果需要把成片保留到非线编中，可以先把节目生成为一个素材，其余的素材就可以删除。
对故事板也一样。
并且及时清空回收站。
（2）减少素材在存储中的占用时间
主要可以通过提高节目制作效率、加快审片速度、及时下载节目或迁移到近线存储中等途径缩短素材在存储中的占用时间。
（3）对存储资源进行有效的管理和维护
一个完善的日常维护、管理办法，是保证非线性编辑网络能否处于良好的运行状态的首要因素。
Ø合理分配使用空间
虽然目前存储技术的高速发展带来了巨大的海量存储，可实际情况是存储资源却被快速占用，产生这种现象的原因主要有两方面，一方面是不断有新的节目推出，节目量净增长的速度比以往快了很多；另一方面是记者在“充分”使用自己所能使用的空间，习惯于把昂贵的存储设备当作是“垃圾桶”。
经常听到记者抱怨说分配的空间不够用，那么分配多少为够用呢？
如果不能科学合理的分配使用空间，那我们唯一能做的就是不断升级存储设备。
在制定空间分配策略的时候，要考虑到一些概念：
“片比”是指成片与素材量之间的比例，片比能反映出记者的制作节目能力，同时也是分配使用空间时需要考虑的一个重要概念。
“素材生命周期”是指素材进入存储设备中到彻底从存储设备中消失所经历的时间。
缩短素材生命周期，能大大降低素材的存储量，提高存储设备利用率。
不同类型的节目有不同的生命周期，新闻类节目讲究时效性，素材的价值通常在三天之类，新闻节目的生命周期就要短一些。
专题类和综艺类节目相对来说要长一些。
“节目最多同时在网期数”，有些节目通常由几个人负责，每个人编辑一期，会出现多期节目同时存在的情况。
在合理分配使用空间之前，要对节目有个详细的了解，制定出如表3所示信息。
表3帐号空间分配信息卡
节目名称
节目信息
个人分配空间
节目分配空间
播出频率
节目时长
播出次数
编辑人数
最多在网期数
素材
片比
码率
生命周期
Ø设置空间预警
在非线性编辑网络中，可以对个人空间和栏目空间进行预警设置，网管事先对每个帐号设置一个空间预警值，如果帐号可使用空间小于这个预警值，系统会发出警告提示，将拒绝再有数据的写入。
设置空间预警，在很大程度上杜绝了记者的乱采不删现象，但也不是绝对的，比如记者在接近预警值时上载素材，系统不会发出警告，如果一直采集下去，等采集结束生成文件后，会发现已经大大超出帐号所分配的使用空间。
Ø定期删除垃圾素材
非线性编辑网络在使用中会产生一些垃圾素材，通常表现为一些素材在库中已经被删除，而物理文件却还存在于存储盘阵中。
这种情况处理起来很棘手，原因不好查到，也就没有太好的防范措施，只能对帐号素材库中的素材与物理文件逐个对比，如果库中没有而物理文件存在的就可以认定是垃圾素材，给予删除，或者利用厂家提供的一些软件进行清理。
只有定期删除掉这些垃圾素材，才能降低存储容量的占用率。
Ø磁盘存储负载均衡
磁盘管理功能在系统后台根据系统的实际数据访问情况，可以对存储系统实现动态的负载均衡功能，把每个账户的工程文件及素材平均保存到每个素材盘，这样不仅能减少磁盘的闲置率，还能有效利用存储系统的带宽，避免负载不均衡给系统带来的破坏性影响。
六结束语
在当今网络时代，存储技术正在发生革命性的变化。
信息技术正从以计算设备为核心的计算时代进入到以存储设备为核心的存储时代。
如何充分利用存储系统，满足电视台对素材的有效提供、保存，并保持高可用性，让节目制作更顺畅，同时节约开支，已成为电视台在存储管理方面面临的严峻挑战。
我们要深入分析影响存储性能的各种因素，合理优化存储高可用性方案，使用存储最佳参数，将存储资源的作用得到最大的发挥，充分满足节目制作的需求。
升级会员 