IP视频流处理系统技术方案.docx

1、IP视频流处理系统技术方案 视频流处理系统技术方案 IP 年月日 2010 10 21 一、项目需求. 3 二、系统主要技术及功能介绍. 3 2.1、视频流压缩编码技术：. 3 2.2、服务器处理技术：. 4 2.3、网络传输协议：. 5 2.4、对端流媒体播放技术（解码）. 5 三、系统组成. 6 3.1 编码硬件（服务器）介绍；. 6 3.1.1 编码硬件（服务器）构架. 6 3.1.2 编码硬件（服务器）组成. 6 3.1.3 编码硬件（服务器）编码技术介绍及转换格式说明. 7 3.1.4 编码硬件（服务器）编码流程介绍及 GPU 并行处理技术介绍. 7 3.1.5 编码硬件（服务器）编

2、码指标说明（压缩比、分辨率、带宽、信号类型、流媒体 格式、码流、帧数等指标） . 8 3.1.6 编码硬件（服务器）处理性能. 9 3.1.7 编码硬件（服务器）扩展能力. 10 3.2 解码器介绍；. 10 3.2.1 解码器介绍. 10 3.2.2 解码技术介绍. 10 3.2.3 解码后最终显示性能. 11 3.2.4 解码器与编码器协同工作原理. 11 3.2.5 窗口显示性能. 12 四、IP 视频流处理系统技术点实现方式 . 12 五、IP 视频流处理系统优势所在及对比 . 12 六、系统图. 14 七、新版本介绍. 15 7.1、版本介绍. 15 7.2、BlendOneV2 窗

3、口管理介绍：. 17 81 .八、系统测试 一、项目需求 支持多路流媒体信号源并行输入； ? IP 可以将外部视频信号转换为流媒体以窗口的形式 ?IP 在大屏幕上显示； 所有操作均兼容集中控制主机、操作电脑等控制设备； ? 完美实现多窗口显示，并且可以进行窗口放大、缩小、 ? 漫游、叠加、拉伸等功能； 支持显示模式预存、调用、修改等功能； ? 绍术及功能介二、系统主要技 、视频流压缩编码技术：2.1 视频流压缩编码技术。由于存在视频信息数据量大而网 络带宽有限的矛盾，压缩技术一直是网络视频通信的关键技 术。网络流媒体技术面临着网络带宽的波动和多种应用的挑 战，高压缩率的分级编码技术是很好的解决

4、途径。它能提供 根据带宽而自适应变化的视频码流，以满足不同质量的服务。 功能：此技术主要用于编码器进行视频流的转码工作，将具 有分辨率和行场频率的、信号转换为可以通 DVIVGARGB 过网络进行传输的流媒体格式； 编码体系结构图： 、服务器处理技术：2.2 服务器处理技术。编码服务器是流媒体系统的核心设备， 它通过对视频流的发送和控制，保证了通信的服务质量。为 了解决时延和带宽的限制，服务器必须根据实际的可用带宽 把压缩的数据打包成合适的码并响应网络的反馈控制信息； 同时为了实现客户与服务器的交互功能（），服务器还要VOD 有对用户发来的服务请求（）进行有效处理的功能。典型VCR 流媒体服务

5、器技术包括数据放置策略、磁盘调度算法、内存 缓冲区管理算法等 功能：编码服务器不但负责各类信号的转换工作，并且负责 转换后的流媒体网络推送工作，并且根据不同的情况提供不 同的策略、算法及缓冲； 、网络传输协议：2.3 网络传输协议。由于我们的设备应用于局域网，并且要 求有的带宽流量，但是由于流媒体的传输应避免网 1000M 络丢包情况，因此我们选择比较适合实时视频传输的协议主 要有：网络层的协议，传输层的用户数据报协议、实(UDP) IP 时传输协议（）、会话层的（实时流协议）。在传输层RTSP RTP 的下层，为了减小时延，视频数据传输使用尽力转发的 。是在的上层为数据传输提供丢包检测和同

6、RTP UDPUDP 步的实时传输协议，是配合的控制协议； RTCP RTP 功能：此技术对应的功能主要负责流媒体在网络上广播推送 服务，通过相应的协议及我们针对网络广播的软体限制，避 免丢包，延迟的现象出现； 、对端流媒体播放技术（解码）2.4 接收端的流播放技术。由于流媒体采用的是等非IPUDP 可靠传输协议，数据可能不会按原来的顺序到达接收端而且 可能存在丢包，所以在解码前开辟一个缓冲区进行重排和错 误掩盖。为了实现实时连续播放并且拒绝丢包情况，我们开 辟一个适当大小的播放缓冲区，以避免网络带宽的波动带来 的缓冲区下溢；而我们采用的编码技术是标准，因此MPEG-4 在解码方面同时采用的解

7、码标准；通过我们自主研MPEG-4 设端接受终实现对算法，最码的解应体，配合相软的播放发 备的连续播放； 三、系统组成 编码硬件（服务器）介绍； 3.1 编码硬件（服务器）构架 3.1.1 编码服务器的构架为服务器软硬结合方式的构架，通 过我们自主研发的集成了编码、网络、并行处理的机制的 软体，结合定制的高性能图形卡共同实现实时各类信号的 并行转码及网络并行推送功能； 数编传输器集采码据 控制 编码硬件（服务器）组成 3.1.2 （）采集模块，进行信号采集，为编码模块提供数 1RGB/DVI 据 （）编码模块，以标准对图像数据进行压缩编码 MPEG4 2 （）控制模块，对外提供控制接口，对采集

8、模块和编解码模块3 进行参数设置 （）传输模块，接受通讯连接，对外传输压缩数据4 编码硬件（服务器）编码技术介绍及转换格式说明 3.1.3 采集信号保存为信号后传送给编码器，编码器按 YUV 照标准对采集信号进行编码。编码格式为格 4:2:0 MPEG4 式，帧格式采用帧，帧和帧。 I BP 编码硬件（服务器）编码流程介绍及并行处理技 3.1.4 GPU 术介绍 （）编码流程介绍1 编码器采用的是变换和预测的混合编码法。编码原理 由图一所示，输入的帧或场以宏块为单位被编码器处理。 Fn 首先，按帧内或帧间预测编码的方法进行处理。如果采用帧 内预测编码，其预测值（图中用表示）是由当前片中 P P

9、RED 前面已编码的参考图像经运动补偿（）后得出，其中参考MC 图像用表示。为了提高预测精度，从而提高压缩比，-1Fn 实际的参考图像可在过去或未来（指显示次序上）已编码解 码重建和滤波的帧中进行选择。预测值和当前块相PRED 减后，产生一个残差块，经块变换、量化后产生一组量化Dn 后的变换系数，再经熵编码，与解码所需的一些边信息（如X 预测模式量化参数、运动矢量等）一起组成一个压缩后的码 预一步进了提供络。如上所述，为到网传输流该码流，在将 测用的参考图像，编码器必须有重建图像的功能。因此必须 使残差图像经反量化、反变换后得到的与预测值相加， P Dn 得到（未经滤波的帧）。为了去除编码解码

10、环路中产生的uFn 噪声，提高参考帧的图像质量，从而提高压缩图像性能，编 码器还设置了一个环路滤波器，滤波后的输出即重建图Fn 像可用作参考图像。 图一 编码器流程框图 （）编码并行处理2 在各宏块进行变化和量化的过程中，存在大量的计算，因 此利用计算机强大的数据处理功能，将各个宏块数据进行并 行处理，从而提高编码速度。 编码硬件（服务器）编码指标说明（压缩比、分辨率、带3.1.5 宽、信号类型、流媒体格式、码流、帧数等指标） （）编码器输入信号：信号流 RGB1 （）编码格式：格式 2 MPEG44:2:0 （）编码帧结构：支持三种类型 I/IPP/IBBP3 （）工作方式：可变码率编码（固

11、定码率编码）)/CBRVBR(4 （）支持分辨率：5 、1681280x9601400x10501280x10241024x7681600x900 、等 1920x10801920x14401920x12000x1050 （）编码帧率：（）fps30256 （）压缩比：根据图像内容因素的不同，如图像细节，运动和7 静止，编码图像质量等方面因素，压缩比和码率会不同，理 论上压缩比最大可达到。实际中测试的压缩4000:1 MPEG4 比约为： （）码率：（）Mbps8150 （）带宽：200Mbps9 编码器输 分辨率 帧 编码格 帧数 编码图像质 平均码率 带宽要 压缩率 量式 入信号 结构 求

12、 (fps) （Mbps） 808.90 GOP=10 4：0.7Mbps 2 1024x 768： 1Mbps030 QP=0 RGB240 4：21Mbps 1099.63 1440x1050 ：3Mbps 30 0 QP=0 IBBP 4 2.5Mbps： 1920x10802 303Mbp： QP=00 597.194 2.5Mbps663.55 1920x1200：2 30： QP=03Mbp 0 编码硬件（服务器）处理性能 3.1.6 （）编码器可支持路信号同时采集 411 （）最多支持路信号 2 4 （）支持最高分辨率为 32048x1536 （）最大码流达到 440Mbps （

13、）压缩比：在质量最好的情况下，压缩比约为 5100800 编码硬件（服务器）扩展能力 3.1.7 最大支持路数分辨率 81024x768 41400x1050 41920x1080 41920x1200 ；绍器介解码 3.2 绍器介解码 3.2.1 接络码。解码器从网解器采用码标准进行解解码 MPEG4 码。进行解标准对编码数据后的数据后，按照收到编码 绍介码解技术 3.2.2 出的器输器得到由图二可知，解码编码：由解码流程介绍 反量，再系数经组变换经熵数据后，解码得到量化后的一X 信出的比特流中解。利用从该，得到残差化、反变换码头Dn 息，解码器就产生一个预测块，它和编码器中的原始PRED

14、是相同的。当该解码器产生的与残差相加Dn PRED PRED 后，就产生，再经滤波后，最后就得到滤波后的，这Fn uFn 个就是最后的解码输出图像。Fn 图二 解码框图 解码后最终显示性能 3.2.3 解码帧率：最高可达 60fps 支持分辨率：，宽度或高度必须为的倍数 28192x8192 4x4 流量：像素24bit/ 解码器与编码器协同工作原理 3.2.4 （）编码器收到原始采集数据后进行压缩编码，服务器将编1 码后的数据传输到客户端 （）客户端接收到编码数据后，解码器尽最大能力进行解码，2 以最快的速度显示 （）编码器与解码器都在推模式下工作”3“ （）由于本身的特点，解码器只有在收到

15、关键帧才能 4MPEG 正式启动解码，而关键帧的间隔与编码设定有关，所以开始 解码时可能出现短暂的等待，当关键帧到达才进入解码，显 示图像 窗口显示性能 3.2.5 （）采用独占显示技术，直接进行显卡显示操作，充 1DirectX 分发挥显卡性能； （）支持多核并行处理技术，通过模式进行数据 CPU DMA2 传输，发挥的带宽优势，传输速度可达，窗口16GB/s PCI-E 显示具有刷新速度快，占有资源小的特点。 四、视频流处理系统技术点实现方式 IP （）编解码：支持并行处理，支持多核，技术优化 SIMD1 CPU （）图像显示：传输，采用显示技术 DirectXDMA 2 （）图像传输：基

16、于的可靠传输方式 TCP/IP3 五、视频流处理系统优势所在及对比 IP 随着视频应用的不断深入和网络技术、图像技术的不断 成熟，视频系统正在迈入数字化、网络化、大型化时代，视频 ，就视频看观程远了在为方式下，远。传统信号数量多，距离需要部署专用传输线路，线路的数量随着视频数量的增长而 增长，考虑到信号的线路损耗，需要根据实际条件添加中继 设备。传统方式下的系统无法复用建设好的线路，重复建设 多，成本高。 （）多网融合。视频处理系统能够使用网络线路，无需进 1IP 行线路铺设，系统建设快，成本低，具有多网融合的特点，现 有网络不但能够进行局域网通讯，还能实现视频网的搭建。 （）利于扩容。视频通

17、过压缩，使用网络接入，在保证质量的2 同时，降低带宽占用，大大提高并行传输视频的数量。当网 络线路的带宽能够满足同时观看视频数量的需要时，添加视 频点只需添加一台采集设备即可，扩容简单、迅速。 （）节约成本。视频处理系统充分利用现有资源，扩容便 3IP 捷，使得整个系统建设成本大大降低，建设时间快，同时以 设节约成本。未来的建为能力，也级良的升优其 六、系统图 VGA/DVI输入 局域网融合服务器 远程采集服务器 控制端 七、新版本介绍 、版本介绍7.1 由于流媒体技术得研发成功，因此在设备应用中我 IP 们对对端解码器也做了软体的升级，由第一代融合解码器升 级为第二代融合处理器（）V2 BLENDONE 其中包括： BlendOneV2 服务器端 BlendOneV2? SEVER 控制客户端：BlendOneV2? Manage 上一代融合解码器并不具备流媒体的解码、采集功 IP 能并且针对流媒体的窗口管理机制也没有被集成；而为了 Ip 配合对端编码器的应用，我们在第二代融合解码服务器中不 但集成了最新的流媒体的解码、采集技术，并且也集成了 IP 针对流媒体的窗口管理机制； IP 界面对比： 第一代界面 第二代界面 从最新的界面中可以看出，在第二代融合解码服务器中 内置了流媒体的解码及采集功能，并且也具备其窗口管 IP 理机制； 、窗口管理介绍： 7.2BlendOneV2