cVideo云转码系统技术白皮书云创大数据.docx

1、cVideo云转码系统技术白皮书云创大数据1. 背景描述由于视频片源需求的多样化，对于视频节目也有着不同格式、不同分辨率的需求，因此根据不同需求，需要准备与之相应的数据。然而转码是十分消耗计算机 CPU 的一项工作，传统模式上依靠单台机器进行转码工作本身性能就已经不高，况且需求路数一多势必会严重影响整体性能，对于大规模的使用显然不适合。而基于 cVideo 的云端转码技术，可以很方便地做到分布式高效转码，负载均衡，统一管理，任务分发等工作。2. cVideo云转码平台2.1 平台简介视频云转码平台，能对现有视频文件按需进行分布式转码，实现不同格式、分辨率等参数的转换，并将转好的文件进行存储，此

2、方案的目标为，基于云架构综合调度，实现高效快速的转码、安全稳定的存储、简单便捷的操作界面等需求。2.2 逻辑架构 图 cVideo系统架构图上图为简化的cVideo云转码平台架构图，其核心内容是对各类视频文件的高效转码。基于云计算的模式，采取海量分布式JobKeeper云调度架构，以WebService形式共同对外服务。实现云端转码、动态伸缩、监控管理等需求。最后将转码好的视频文件保存于cStor存储服务器中，并给用户提供对应接口方便调用。 资源层：存储于cstor云存储系统中的视频数据。 数据存储层：即cStor云存储系统，提供海量的存储空间，以备历史数据的回看与处理。 数据处理层：即cVi

3、deoCodec云转码模块，由中心调度服务器（JobKeeper）调用，进行视频的转码等。 API层：提供API接口，实现上层应用对底层资源的透明操作，提供业务应用的开发支持。 调度控制层：实现对以上各层的综合调度与控制，以实现整套系统机制。 应用层：主要包括调阅查询、内容识别等视频相关应用，可自己设计友善的界面、人性化的操作方式等。2.3 系统架构 中心调度服务器：负责获取用户从客户端或者其他的上层系统发出的指令，使用JobKeeper综合调度各个系统集群，实现整套cVideo的控制机制，并通过webservice技术，将相关信息返回给客户端。 cStor存储服务器：用以长期存储视频数据，以

4、备调阅及重新处理等需求。 cVideoCodec云端转码：视频文件的云端转码处理。 客户端：客户端与中心调度服务器通过web service技术连接，实现client和server之间交互。上图简要描述了cVideo的云端转码平台。用户可以将需要转码的任意格式、任意分辨率的视频文件存储到cStor存储服务器中，然后通过客户端的Web操作页面，根据需求提交转码请求，整套根据源文件的大小和时间轴长度拆分转码任务，通过JobKeeper云调度系统，自动负载均衡，将其分发到相应的处理节点，待分布式的转码完成后，再进行中间结果文件的合并与时间轴重构，并将最终视频文件存放在cStor的指定位置。这些视频文

5、件经过索引建立一一对应关系，在cVideo云转码集群中进行数据处理，实现对视频文件的高效转码，并将结果保存在cStor存储服务器中。3. 关键技术根据以上方案架构，涉及到的具体技术包括了cVideo的云端转码技术、JobKeeper云调度方法、以及cStor云存储技术。其中cVideo的云端转码技术负责实现视频文件的拆分、转码、合成等上述功能；而JobKeeper负责综合管理和统一调度，实现云内计算机的联动和各类保障，共同对外提供服务；cStor则负责提供高可靠的海量数据存储能力。3.1 cVideoCodec云端转码3.1.1 cVideoCodec简介随着前端摄像机的清晰度不断提升，其码流

6、和数据量成倍增长。然而一些终端的处理能力有限，无法支持高清的分辨率；一些需要用到公网传输，带宽无法满足高清的码流的需求；还有一些需要将已有视频文件转化成不同格式的需求等。视频的编码格式主要的有 MPEG、H264、DivX、WMA、RM 等，封装格式主要有 avi、ps、ts、mov、mkv、mpg 等，而不同的播放器对格式的支持也不同，因此不同终端对视频流格式也有着特殊的需求。面对以上这些因素，为了满足不同的需求，cVideo 研发了云端转码技术，以满足用户对不同视频格式、不同分辨率，不同码流，不同终端的使用需求。针对视频文件的高效分布式云转码，由于视频文件已经存在，因此可以充分发挥云计算分

7、布式的计算性能，将视频文件按时间切分为许多块，每个块被分配到不同的处理节点，待所有块都处理完毕后，再进行重新整合、重构时间轴、封装，从而实现高效地转码，任务分配和调度由 JobKeeper 完成。3.1.2 cVideoCodec主要优势 极高的性价比：cVideoCodec构建于cStor云存储、JobKeeper云调度之上，有着低廉、高可靠性的海量存储能力和无限可扩展能力，当用户存储需求增长时，也仅需添加与硬盘价格相仿的cStor存储节点即可，这将大幅降低用户的投资及升级维护费用，系统规模越大越能体现出性价比。 优异的转码性能：对于视频文件，cVideo使用分布式的转码处理，以往使用转码软

8、件在单机转码需要1小时的文件，使用cVideo云转码系统在几分钟（具体时间与处理服务器数量及运转状态有关）内就可以完成转码工作。 高效的调度技术：cVideo在云端处理平台上采用JobKeeper云调度机制，将视频这类非结构化数据分发给云中对应节点，高效稳定的合理化分配和执行转码任务，自动负载均衡，实现高效的云端转码。3.2 JobKeeper云调度在没有JobKeeper如此智能的调度平台辅助时，大数据处理时很不方便，因为在处理大数据时通常都会调用多个软件组件，而多个工具的使用当时只能依靠手动来调用，才能完成整个处理流程，这样大大的增加了处理成本，也浪费了很多时间、人工。针对这样的情况，云创

9、经过多次针对性调研整理，研发出JobKeeper智能调度平台，成功解决这一难题，通过JoKeeper调度平台，在处理大数据时，可以很方便的按流程来自动调用所有的组件, 除此之外，智能的JobKeeper应用范围很广泛，不仅仅局限于大数据处理，而且各个方面都适用，并且可以对机器进行性能监控。3.2.1 简介JobKeeper是南京云创存储有限公司自主研发的分布式调度平台(亦支持单机)，具有超高的任务处理性能，而且具有超高的可靠性，可不间断接受任务。JobKeeper 是一种处理任务的超高性能分布式调度平台，JobKeeper可不间断接受从各台计算机提交的任务，再按照当前集群中所有机器的压力，智能

10、进行分配任务，进而达到集群负载均衡，使得整个集群的性能始终保持最优。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控，对集群中所有的任务进行停止、删除等功能。3.2.2 JobKeeper主要优势 高可靠性：平台采用“多主多备，负载均衡”的管理节点设计模式，和“处理实时跟踪”的处理节点设计模式，从而保证无论管理节点还是处理节点都不存在任何单点故障问题。 低依赖性：平台采用模块化设计思想，通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发，何种处理方式，都可以交由平台进行统一的调度管理。 低干预性：平台采用基于事件化的统一管理模式。无论是动态扩展集群

11、处理系统能力，还是单点故障的任务转移，又或者是任务的实时监控和动态分配，都将在系统无人值守的情况下自动完成。 高实时性：平台在高效率并行分布式软件的支撑下，可以实现对任务的实时分配，实时调度，实时处理。在机器性能允许的范围内，计算任务不会出现堆积的显现，所有任务的控制工作基本都在秒级完成，具有前所未有的高效性。3.2.3 JobKeeper架构图4-11 JobKeeper系统架构图上图为JobKeeper的基本架构图，下面对其各层作一定描述。 应用层：一组用于管理和结果反馈的显示组件。用于显示任务的处理情况以及集群中机器的活动情况，同时其也是一个上层应用和底层服务的对接平台。是整个系统面向用

12、户和开发人员的基础承载。 业务层：对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。 数据处理层：独立的数据处理程序，是对不同需求数据的统一处理方案，他的运行与监控的工作将由JobKeeper调度平台进行统一的配置管理。 存储层：用来存储数据存储层的处理结果集或者其他中间结果集的单元。 虚拟化资源层：将实体的机器进行虚拟化，形成更大范围的服务集群。JobKeeper调度平台是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集

13、群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。JobKeeper的任务分发流程，如图：图： JobKeeper调度平台任务流程当用户在应用层下发任务给管理节点，管理节点调度机器采集机器节点的信息，根据具体的算法选取最优节点并分发任务，接下来具体的处理节点接收到任务并处理同时将结果返回给管理节点，管理节点整理汇总处理结果，而后返回给应用层 服务器节点组：负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存，对应的信息镜像存储在基于cStor或者NFS服务的存储系统上。 处理节点组：通过RPC的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目

14、标进行对比，控制程序的执行和结束。处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活状态。3.2.4 JobKeeper系统故障处理机制Jobkeeper的故障处理机制如下图所示：首先是任务处理节点宕机或者该任务初始化后出现错误，那么该任务返还到任务调度层交给调度节点重新分配。如果任务处理节点宕机或者子任务出现未知错误，那么该任务将返回到任务处理节点上 由任务节点机器重新分配该子任务。而所有的任务信息和处理节点信息都会定时写入到磁盘文件 所以不需要担心做了一半的任务要从头开始做。3.3 cStor 云存储3.3.1 cStor简介cStor云存储系统是9年来不断积累研发

15、的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包括软件与硬件，是一个海量的云存储平台。与传统的大规模存储系统相比，它具有构建成本低、性能高效可靠、使用简单方便的特点。在需要存储大量数据（如视频数据、业务数据等）的应用场合，可以大幅提高存储系统性价比。与目前国际上知名的Google、Amazon等云存储相比，具有更高的性价比、更低的能耗、更加通用和更方便的使用模式。3.3.2 cStor主要优势超低成本系统中采用廉价的大容量存储服务节点，通过cStor系统软件实现统一管理和容错，提供高效、稳定服务。与使用专用服务器相比，可以将系统构建成本节省5-10倍以上，且规模越大，优势越明显。

16、高性能cStor采用了高效的数据读写技术和文件查询技术, 支持高并发、高带宽， 数据在多个节点上并行读写，服务器自动均衡负载，系统性能随节点数增加而线性增长。超高可靠性支持多重数据保护，包括磁盘级的数据冗余，节点级的数据冗余等。 存储节点的数据具有多个副本（默认为3个，可设置）。任意节点出现故障，系统将会自动复制数据副本到新的节点上，不会丢失数据。元数据管理节点采用双机镜像模式容错，如果有一节点出现故障，另一节点自动接替之。绿色节能自主研发的超低功耗云存储硬件节点，主板尺寸为20cm*20cm，功耗仅为10W左右（不含硬盘），比业界的200W低10几倍。超高集成度由于解决了能耗的问题，散热不成

17、为集成度的瓶颈，因而可以在1个标准的42U机架上集成多达80个存储节点，总容量高达1024TB。易扩展性可以在不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现系统容量从TB级平滑扩展到PB级；也可以摘下任意节点，系统自动缩小规模而不丢失数据，并自动将摘下的节点上得数据备份到其他节点上，保证整个系统数据的冗余数。3.3.3 cStor系统构架与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。云存储系统的结构模型由

18、存储层、基础管理层、应用接口层以及访问层等四层组成，如下图所示：cStor 云存储系统架构如上图所示，cStor 云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（Master Server）和数据存储节点服务器（Chunk Server）以及客户端节点的结构构成一个虚拟的海量存储卷。Master Server 保存系统的元数据，负责对整个文件系统的管理，Master Server 在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server 负责具体的数据存储工作，数据以文件的形式存储在 Chunk Serv

19、er 上，Chunk Server 的个数可以有多个，它的数目直接决定了 cStor 云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在 Chunk Server 上，每一个块数据服务器，及时存储服务器也是客户端服务器。对每一个节点，cStor 云存储系统提供的管理监控中心都可以对其进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如 FTP、CIFS、NFS 账户添加等客户端管理和配置工具。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的 Chunk Se

20、rver 即可，而不需要添加整套设备。3.3.4 cStor 部署示意图cStor 云存储部署示意图cStor 云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错。所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统。通过增加或者减少存储节点的方式，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。4. 平台功能及性能描述4.1 功能描述当前云转码平台的系统版本V2.3.0版，底层编解码库已经支持绝大多数常用格式。目前支持的视频封装格式：“.ts”

21、、“.mp4”、“.mpg”、“avi”、“flv”、“mkv”；目前支持的视频编码格式：“H264”、“XVid”、“MPEG4”、“MPEG2”；目前支持的音频编码格式：“FAAC”、“MP3”、“MP2”；目前支持的分辨率：基本支持全部分辨率； 4.2 性能描述云转码的处理性能与服务器 CPU、内存、网络、转码文件分辨率、格式转换需求、任务分片数等多方面因素均有关联，因此统一的标准较难给出。下图为云转码平台测试的结果示意图：转码性能示意图与存储共用节点情况下的性能如上图所示，随着转码服务器数量的增多，转码单个文件需要的时间不断减少，整体性能基本线性增加。同时，对分片数合理分配可以进一步优化转码的效率。并且云转码平台支持动态扩容，随着需求的不断增加，当现有处理能力无法满足处理总量时，只需要增加处理节点，无需停止服务，即可动态地增加处理性能，实现平台处理能力扩容。