1、IP视频流处理系统技术方案 视频流处理系统技术方案 IP 年月日 2010 10 21 一、项目需求. 3 二、系统主要技术及功能介绍. 3 2.1、视频流压缩编码技术:. 3 2.2、服务器处理技术:. 4 2.3、网络传输协议:. 5 2.4、对端流媒体播放技术(解码). 5 三、系统组成. 6 3.1 编码硬件(服务器)介绍;. 6 3.1.1 编码硬件(服务器)构架. 6 3.1.2 编码硬件(服务器)组成. 6 3.1.3 编码硬件(服务器)编码技术介绍及转换格式说明. 7 3.1.4 编码硬件(服务器)编码流程介绍及 GPU 并行处理技术介绍. 7 3.1.5 编码硬件(服务器)编
2、码指标说明(压缩比、分辨率、带宽、信号类型、流媒体 格式、码流、帧数等指标) . 8 3.1.6 编码硬件(服务器)处理性能. 9 3.1.7 编码硬件(服务器)扩展能力. 10 3.2 解码器介绍;. 10 3.2.1 解码器介绍. 10 3.2.2 解码技术介绍. 10 3.2.3 解码后最终显示性能. 11 3.2.4 解码器与编码器协同工作原理. 11 3.2.5 窗口显示性能. 12 四、IP 视频流处理系统技术点实现方式 . 12 五、IP 视频流处理系统优势所在及对比 . 12 六、系统图. 14 七、新版本介绍. 15 7.1、版本介绍. 15 7.2、BlendOneV2 窗
3、口管理介绍:. 17 81 .八、系统测试 一、项目需求 支持多路流媒体信号源并行输入; ? IP 可以将外部视频信号转换为流媒体以窗口的形式 ?IP 在大屏幕上显示; 所有操作均兼容集中控制主机、操作电脑等控制设备; ? 完美实现多窗口显示,并且可以进行窗口放大、缩小、 ? 漫游、叠加、拉伸等功能; 支持显示模式预存、调用、修改等功能; ? 绍术及功能介二、系统主要技 、视频流压缩编码技术:2.1 视频流压缩编码技术。由于存在视频信息数据量大而网 络带宽有限的矛盾,压缩技术一直是网络视频通信的关键技 术。网络流媒体技术面临着网络带宽的波动和多种应用的挑 战,高压缩率的分级编码技术是很好的解决
4、途径。它能提供 根据带宽而自适应变化的视频码流,以满足不同质量的服务。 功能:此技术主要用于编码器进行视频流的转码工作,将具 有分辨率和行场频率的、信号转换为可以通 DVIVGARGB 过网络进行传输的流媒体格式; 编码体系结构图: 、服务器处理技术:2.2 服务器处理技术。编码服务器是流媒体系统的核心设备, 它通过对视频流的发送和控制,保证了通信的服务质量。为 了解决时延和带宽的限制,服务器必须根据实际的可用带宽 把压缩的数据打包成合适的码并响应网络的反馈控制信息; 同时为了实现客户与服务器的交互功能(),服务器还要VOD 有对用户发来的服务请求()进行有效处理的功能。典型VCR 流媒体服务
5、器技术包括数据放置策略、磁盘调度算法、内存 缓冲区管理算法等 功能:编码服务器不但负责各类信号的转换工作,并且负责 转换后的流媒体网络推送工作,并且根据不同的情况提供不 同的策略、算法及缓冲; 、网络传输协议:2.3 网络传输协议。由于我们的设备应用于局域网,并且要 求有的带宽流量,但是由于流媒体的传输应避免网 1000M 络丢包情况,因此我们选择比较适合实时视频传输的协议主 要有:网络层的协议,传输层的用户数据报协议、实(UDP) IP 时传输协议()、会话层的(实时流协议)。在传输层RTSP RTP 的下层,为了减小时延,视频数据传输使用尽力转发的 。是在的上层为数据传输提供丢包检测和同
6、RTP UDPUDP 步的实时传输协议,是配合的控制协议; RTCP RTP 功能:此技术对应的功能主要负责流媒体在网络上广播推送 服务,通过相应的协议及我们针对网络广播的软体限制,避 免丢包,延迟的现象出现; 、对端流媒体播放技术(解码)2.4 接收端的流播放技术。由于流媒体采用的是等非IPUDP 可靠传输协议,数据可能不会按原来的顺序到达接收端而且 可能存在丢包,所以在解码前开辟一个缓冲区进行重排和错 误掩盖。为了实现实时连续播放并且拒绝丢包情况,我们开 辟一个适当大小的播放缓冲区,以避免网络带宽的波动带来 的缓冲区下溢;而我们采用的编码技术是标准,因此MPEG-4 在解码方面同时采用的解
7、码标准;通过我们自主研MPEG-4 设端接受终实现对算法,最码的解应体,配合相软的播放发 备的连续播放; 三、系统组成 编码硬件(服务器)介绍; 3.1 编码硬件(服务器)构架 3.1.1 编码服务器的构架为服务器软硬结合方式的构架,通 过我们自主研发的集成了编码、网络、并行处理的机制的 软体,结合定制的高性能图形卡共同实现实时各类信号的 并行转码及网络并行推送功能; 数编传输器集采码据 控制 编码硬件(服务器)组成 3.1.2 ()采集模块,进行信号采集,为编码模块提供数 1RGB/DVI 据 ()编码模块,以标准对图像数据进行压缩编码 MPEG4 2 ()控制模块,对外提供控制接口,对采集
8、模块和编解码模块3 进行参数设置 ()传输模块,接受通讯连接,对外传输压缩数据4 编码硬件(服务器)编码技术介绍及转换格式说明 3.1.3 采集信号保存为信号后传送给编码器,编码器按 YUV 照标准对采集信号进行编码。编码格式为格 4:2:0 MPEG4 式,帧格式采用帧,帧和帧。 I BP 编码硬件(服务器)编码流程介绍及并行处理技 3.1.4 GPU 术介绍 ()编码流程介绍1 编码器采用的是变换和预测的混合编码法。编码原理 由图一所示,输入的帧或场以宏块为单位被编码器处理。 Fn 首先,按帧内或帧间预测编码的方法进行处理。如果采用帧 内预测编码,其预测值(图中用表示)是由当前片中 P P
9、RED 前面已编码的参考图像经运动补偿()后得出,其中参考MC 图像用表示。为了提高预测精度,从而提高压缩比,-1Fn 实际的参考图像可在过去或未来(指显示次序上)已编码解 码重建和滤波的帧中进行选择。预测值和当前块相PRED 减后,产生一个残差块,经块变换、量化后产生一组量化Dn 后的变换系数,再经熵编码,与解码所需的一些边信息(如X 预测模式量化参数、运动矢量等)一起组成一个压缩后的码 预一步进了提供络。如上所述,为到网传输流该码流,在将 测用的参考图像,编码器必须有重建图像的功能。因此必须 使残差图像经反量化、反变换后得到的与预测值相加, P Dn 得到(未经滤波的帧)。为了去除编码解码
10、环路中产生的uFn 噪声,提高参考帧的图像质量,从而提高压缩图像性能,编 码器还设置了一个环路滤波器,滤波后的输出即重建图Fn 像可用作参考图像。 图一 编码器流程框图 ()编码并行处理2 在各宏块进行变化和量化的过程中,存在大量的计算,因 此利用计算机强大的数据处理功能,将各个宏块数据进行并 行处理,从而提高编码速度。 编码硬件(服务器)编码指标说明(压缩比、分辨率、带3.1.5 宽、信号类型、流媒体格式、码流、帧数等指标) ()编码器输入信号:信号流 RGB1 ()编码格式:格式 2 MPEG44:2:0 ()编码帧结构:支持三种类型 I/IPP/IBBP3 ()工作方式:可变码率编码(固
11、定码率编码))/CBRVBR(4 ()支持分辨率:5 、1681280x9601400x10501280x10241024x7681600x900 、等 1920x10801920x14401920x12000x1050 ()编码帧率:()fps30256 ()压缩比:根据图像内容因素的不同,如图像细节,运动和7 静止,编码图像质量等方面因素,压缩比和码率会不同,理 论上压缩比最大可达到。实际中测试的压缩4000:1 MPEG4 比约为: ()码率:()Mbps8150 ()带宽:200Mbps9 编码器输 分辨率 帧 编码格 帧数 编码图像质 平均码率 带宽要 压缩率 量式 入信号 结构 求
12、 (fps) (Mbps) 808.90 GOP=10 4:0.7Mbps 2 1024x 768: 1Mbps030 QP=0 RGB240 4:21Mbps 1099.63 1440x1050 :3Mbps 30 0 QP=0 IBBP 4 2.5Mbps: 1920x10802 303Mbp: QP=00 597.194 2.5Mbps663.55 1920x1200:2 30: QP=03Mbp 0 编码硬件(服务器)处理性能 3.1.6 ()编码器可支持路信号同时采集 411 ()最多支持路信号 2 4 ()支持最高分辨率为 32048x1536 ()最大码流达到 440Mbps (
13、)压缩比:在质量最好的情况下,压缩比约为 5100800 编码硬件(服务器)扩展能力 3.1.7 最大支持路数分辨率 81024x768 41400x1050 41920x1080 41920x1200 ;绍器介解码 3.2 绍器介解码 3.2.1 接络码。解码器从网解器采用码标准进行解解码 MPEG4 码。进行解标准对编码数据后的数据后,按照收到编码 绍介码解技术 3.2.2 出的器输器得到由图二可知,解码编码:由解码流程介绍 反量,再系数经组变换经熵数据后,解码得到量化后的一X 信出的比特流中解。利用从该,得到残差化、反变换码头Dn 息,解码器就产生一个预测块,它和编码器中的原始PRED
14、是相同的。当该解码器产生的与残差相加Dn PRED PRED 后,就产生,再经滤波后,最后就得到滤波后的,这Fn uFn 个就是最后的解码输出图像。Fn 图二 解码框图 解码后最终显示性能 3.2.3 解码帧率:最高可达 60fps 支持分辨率:,宽度或高度必须为的倍数 28192x8192 4x4 流量:像素24bit/ 解码器与编码器协同工作原理 3.2.4 ()编码器收到原始采集数据后进行压缩编码,服务器将编1 码后的数据传输到客户端 ()客户端接收到编码数据后,解码器尽最大能力进行解码,2 以最快的速度显示 ()编码器与解码器都在推模式下工作”3“ ()由于本身的特点,解码器只有在收到
15、关键帧才能 4MPEG 正式启动解码,而关键帧的间隔与编码设定有关,所以开始 解码时可能出现短暂的等待,当关键帧到达才进入解码,显 示图像 窗口显示性能 3.2.5 ()采用独占显示技术,直接进行显卡显示操作,充 1DirectX 分发挥显卡性能; ()支持多核并行处理技术,通过模式进行数据 CPU DMA2 传输,发挥的带宽优势,传输速度可达,窗口16GB/s PCI-E 显示具有刷新速度快,占有资源小的特点。 四、视频流处理系统技术点实现方式 IP ()编解码:支持并行处理,支持多核,技术优化 SIMD1 CPU ()图像显示:传输,采用显示技术 DirectXDMA 2 ()图像传输:基
16、于的可靠传输方式 TCP/IP3 五、视频流处理系统优势所在及对比 IP 随着视频应用的不断深入和网络技术、图像技术的不断 成熟,视频系统正在迈入数字化、网络化、大型化时代,视频 ,就视频看观程远了在为方式下,远。传统信号数量多,距离需要部署专用传输线路,线路的数量随着视频数量的增长而 增长,考虑到信号的线路损耗,需要根据实际条件添加中继 设备。传统方式下的系统无法复用建设好的线路,重复建设 多,成本高。 ()多网融合。视频处理系统能够使用网络线路,无需进 1IP 行线路铺设,系统建设快,成本低,具有多网融合的特点,现 有网络不但能够进行局域网通讯,还能实现视频网的搭建。 ()利于扩容。视频通
17、过压缩,使用网络接入,在保证质量的2 同时,降低带宽占用,大大提高并行传输视频的数量。当网 络线路的带宽能够满足同时观看视频数量的需要时,添加视 频点只需添加一台采集设备即可,扩容简单、迅速。 ()节约成本。视频处理系统充分利用现有资源,扩容便 3IP 捷,使得整个系统建设成本大大降低,建设时间快,同时以 设节约成本。未来的建为能力,也级良的升优其 六、系统图 VGA/DVI输入 局域网融合服务器 远程采集服务器 控制端 七、新版本介绍 、版本介绍7.1 由于流媒体技术得研发成功,因此在设备应用中我 IP 们对对端解码器也做了软体的升级,由第一代融合解码器升 级为第二代融合处理器()V2 BLENDONE 其中包括: BlendOneV2 服务器端 BlendOneV2? SEVER 控制客户端:BlendOneV2? Manage 上一代融合解码器并不具备流媒体的解码、采集功 IP 能并且针对流媒体的窗口管理机制也没有被集成;而为了 Ip 配合对端编码器的应用,我们在第二代融合解码服务器中不 但集成了最新的流媒体的解码、采集技术,并且也集成了 IP 针对流媒体的窗口管理机制; IP 界面对比: 第一代界面 第二代界面 从最新的界面中可以看出,在第二代融合解码服务器中 内置了流媒体的解码及采集功能,并且也具备其窗口管 IP 理机制; 、窗口管理介绍: 7.2BlendOneV2
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1