IP视频流处理系统技术方案.docx
《IP视频流处理系统技术方案.docx》由会员分享，可在线阅读，更多相关《IP视频流处理系统技术方案.docx（27页珍藏版）》请在冰豆网上搜索。
IP视频流处理系统技术方案
视频流处理系统技术方案IP
年月日20101021
一、项目需求....................................................................................................................................3
二、系统主要技术及功能介绍........................................................................................................3
2.1、视频流压缩编码技术：
.....................................................................................................3
2.2、服务器处理技术：
.............................................................................................................4
2.3、网络传输协议：
.................................................................................................................5
2.4、对端流媒体播放技术（解码）...........................................................................................5
三、系统组成....................................................................................................................................6
3.1编码硬件（服务器）介绍；..................................................................................................6
3.1.1编码硬件（服务器）构架.........................................................................................6
3.1.2编码硬件（服务器）组成.........................................................................................6
3.1.3编码硬件（服务器）编码技术介绍及转换格式说明.............................................7
3.1.4编码硬件（服务器）编码流程介绍及GPU并行处理技术介绍...........................7
3.1.5编码硬件（服务器）编码指标说明（压缩比、分辨率、带宽、信号类型、流媒体
格式、码流、帧数等指标）...............................................................................................8
3.1.6编码硬件（服务器）处理性能.................................................................................9
3.1.7编码硬件（服务器）扩展能力...............................................................................10
3.2解码器介绍；.....................................................................................................................10
3.2.1解码器介绍...........................................................................................................10
3.2.2解码技术介绍.......................................................................................................10
3.2.3解码后最终显示性能...........................................................................................11
3.2.4解码器与编码器协同工作原理...........................................................................11
3.2.5窗口显示性能.......................................................................................................12
四、IP视频流处理系统技术点实现方式.....................................................................................12
五、IP视频流处理系统优势所在及对比.....................................................................................12
六、系统图......................................................................................................................................14
七、新版本介绍..............................................................................................................................15
7.1、版本介绍.........................................................................................................................15
7.2、BlendOneV2窗口管理介绍：
.........................................................................................17
81..................................................................................................................................八、系统测试．
一、项目需求
支持多路流媒体信号源并行输入；?
IP
可以将外部视频信号转换为流媒体以窗口的形式?
IP
在大屏幕上显示；
所有操作均兼容集中控制主机、操作电脑等控制设备；?
完美实现多窗口显示，并且可以进行窗口放大、缩小、?
漫游、叠加、拉伸等功能；
支持显示模式预存、调用、修改等功能；?
绍术及功能介二、系统主要技
、视频流压缩编码技术：
2.1
视频流压缩编码技术。
由于存在视频信息数据量大而网
络带宽有限的矛盾，压缩技术一直是网络视频通信的关键技
术。
网络流媒体技术面临着网络带宽的波动和多种应用的挑
战，高压缩率的分级编码技术是很好的解决途径。
它能提供
根据带宽而自适应变化的视频码流，以满足不同质量的服务。
功能：
此技术主要用于编码器进行视频流的转码工作，将具
有分辨率和行场频率的、、信号转换为可以通DVIVGARGB
过网络进行传输的流媒体格式；
编码体系结构图：
、服务器处理技术：
2.2
服务器处理技术。
编码服务器是流媒体系统的核心设备，
它通过对视频流的发送和控制，保证了通信的服务质量。
为
了解决时延和带宽的限制，服务器必须根据实际的可用带宽
把压缩的数据打包成合适的码并响应网络的反馈控制信息；
同时为了实现客户与服务器的交互功能（），服务器还要VOD
有对用户发来的服务请求（）进行有效处理的功能。
典型VCR
流媒体服务器技术包括数据放置策略、磁盘调度算法、内存
缓冲区管理算法等
功能：
编码服务器不但负责各类信号的转换工作，并且负责
转换后的流媒体网络推送工作，并且根据不同的情况提供不
同的策略、算法及缓冲；
、网络传输协议：
2.3
网络传输协议。
由于我们的设备应用于局域网，并且要
求有的带宽流量，但是由于流媒体的传输应避免网1000M
络丢包情况，因此我们选择比较适合实时视频传输的协议主
要有：
网络层的协议，传输层的用户数据报协议、实（UDP）IP
时传输协议（）、会话层的（实时流协议）。
在传输层RTSPRTP
的下层，为了减小时延，视频数据传输使用尽力转发的
。
是在的上层为数据传输提供丢包检测和同RTPUDPUDP
步的实时传输协议，是配合的控制协议；RTCPRTP
功能：
此技术对应的功能主要负责流媒体在网络上广播推送
服务，通过相应的协议及我们针对网络广播的软体限制，避
免丢包，延迟的现象出现；
、对端流媒体播放技术（解码）2.4
接收端的流播放技术。
由于流媒体采用的是等非IP\UDP
可靠传输协议，数据可能不会按原来的顺序到达接收端而且
可能存在丢包，所以在解码前开辟一个缓冲区进行重排和错
误掩盖。
为了实现实时连续播放并且拒绝丢包情况，我们开
辟一个适当大小的播放缓冲区，以避免网络带宽的波动带来
的缓冲区下溢；而我们采用的编码技术是标准，因此MPEG-4
在解码方面同时采用的解码标准；通过我们自主研MPEG-4
设端接受终实现对算法，最码的解应体，配合相软的播放发．
备的连续播放；
三、系统组成
编码硬件（服务器）介绍；3.1
编码硬件（服务器）构架3.1.1
编码服务器的构架为服务器软硬结合方式的构架，通
过我们自主研发的集成了编码、网络、并行处理的机制的
软体，结合定制的高性能图形卡共同实现实时各类信号的
并行转码及网络并行推送功能；
数编传输器集采码据
控制
编码硬件（服务器）组成3.1.2
（）采集模块，进行信号采集，为编码模块提供数1RGB/DVI
据
（）编码模块，以标准对图像数据进行压缩编码MPEG42
（）控制模块，对外提供控制接口，对采集模块和编解码模块3
进行参数设置
（）传输模块，接受通讯连接，对外传输压缩数据4
编码硬件（服务器）编码技术介绍及转换格式说明3.1.3
采集信号保存为信号后传送给编码器，编码器按YUV
照标准对采集信号进行编码。
编码格式为格4:
2:
0MPEG4
式，帧格式采用帧，帧和帧。
IBP
编码硬件（服务器）编码流程介绍及并行处理技3.1.4GPU
术介绍
（）编码流程介绍1
编码器采用的是变换和预测的混合编码法。
编码原理
由图一所示，输入的帧或场以宏块为单位被编码器处理。
Fn
首先，按帧内或帧间预测编码的方法进行处理。
如果采用帧
内预测编码，其预测值（图中用表示）是由当前片中PPRED
前面已编码的参考图像经运动补偿（）后得出，其中参考MC
图像用表示。
为了提高预测精度，从而提高压缩比，-1F'n
实际的参考图像可在过去或未来（指显示次序上）已编码解
码重建和滤波的帧中进行选择。
预测值和当前块相PRED
减后，产生一个残差块，经块变换、量化后产生一组量化Dn
后的变换系数，再经熵编码，与解码所需的一些边信息（如X
预测模式量化参数、运动矢量等）一起组成一个压缩后的码
预一步进了提供络。
如上所述，为到网传输流该码流，在将．
测用的参考图像，编码器必须有重建图像的功能。
因此必须
使残差图像经反量化、反变换后得到的与预测值相加，PDn'
得到（未经滤波的帧）。
为了去除编码解码环路中产生的uFn'
噪声，提高参考帧的图像质量，从而提高压缩图像性能，编
码器还设置了一个环路滤波器，滤波后的输出即重建图Fn'
像可用作参考图像。
图一编码器流程框图
（）编码并行处理2
在各宏块进行变化和量化的过程中，存在大量的计算，因
此利用计算机强大的数据处理功能，将各个宏块数据进行并
行处理，从而提高编码速度。
编码硬件（服务器）编码指标说明（压缩比、分辨率、带3.1.5
宽、信号类型、流媒体格式、码流、帧数等指标）
（）编码器输入信号：
信号流RGB1
（）编码格式：
格式2MPEG44:
2:
0
（）编码帧结构：
支持三种类型I/IPP/IBBP3
（）工作方式：
可变码率编码（固定码率编码））/CBRVBR（4
（）支持分辨率：
5
、、、、、1681280x9601400x10501280x10241024x7681600x900
、、、等1920x10801920x14401920x12000x1050
（）编码帧率：
（～）fps30256
（）压缩比：
根据图像内容因素的不同，如图像细节，运动和7
静止，编码图像质量等方面因素，压缩比和码率会不同，理
论上压缩比最大可达到。
实际中测试的压缩4000:
1MPEG4
比约为：
（）码率：
（～）Mbps8150
（）带宽：
200Mbps9
编码器输分辨率帧编码格帧数编码图像质平均码率带宽要压缩率
量式入信号结构求（fps）（Mbps）808.90GOP=104：
0.7Mbps21024x768：
1Mbps030QP=0RGB2404：
21Mbps1099.631440x1050：
3Mbps300QP=0
IBBP42.5Mbps：
1920x10802303Mbp：
QP=00597.1942.5Mbps663.551920x1200：
230：
QP=03Mbp0
编码硬件（服务器）处理性能3.1.6
（）编码器可支持～路信号同时采集411
（）最多支持路信号24
（）支持最高分辨率为32048x1536
（）最大码流达到440Mbps
（）压缩比：
在质量最好的情况下，压缩比约为5100~800
编码硬件（服务器）扩展能力3.1.7
最大支持路数分辨率
81024x768
41400x1050
41920x1080
41920x1200
；绍器介解码3.2
绍器介解码3.2.1
接络码。
解码器从网解器采用码标准进行解解码MPEG4
码。
进行解标准对编码数据后的数据后，按照收到编码
绍介码解技术3.2.2
出的器输器得到由图二可知，解码编码：
由解码流程介绍
反量，再系数经组变换经熵数据后，解码得到量化后的一X
信出的比特流中解。
利用从该，得到残差化、反变换码头Dn'
息，解码器就产生一个预测块，它和编码器中的原始PRED
是相同的。
当该解码器产生的与残差相加Dn'PREDPRED
后，就产生，再经滤波后，最后就得到滤波后的，这Fn'uFn'
个就是最后的解码输出图像。
Fn'
图二解码框图
解码后最终显示性能3.2.3
解码帧率：
最高可达60fps
支持分辨率：
，宽度或高度必须为的倍数28192x8192~4x4
流量：
像素24bit/
解码器与编码器协同工作原理3.2.4
（）编码器收到原始采集数据后进行压缩编码，服务器将编1
码后的数据传输到客户端
（）客户端接收到编码数据后，解码器尽最大能力进行解码，2
以最快的速度显示
（）编码器与解码器都在推模式下工作”3“
（）由于本身的特点，解码器只有在收到关键帧才能4MPEG
正式启动解码，而关键帧的间隔与编码设定有关，所以开始
解码时可能出现短暂的等待，当关键帧到达才进入解码，显
示图像
窗口显示性能3.2.5
（）采用独占显示技术，直接进行显卡显示操作，充1DirectX
分发挥显卡性能；
（）支持多核并行处理技术，通过模式进行数据CPUDMA2
传输，发挥的带宽优势，传输速度可达，窗口16GB/sPCI-E
显示具有刷新速度快，占有资源小的特点。
四、视频流处理系统技术点实现方式IP
（）编解码：
支持并行处理，支持多核，技术优化SIMD1CPU
（）图像显示：
传输，采用显示技术DirectXDMA2
（）图像传输：
基于的可靠传输方式TCP/IP3
五、视频流处理系统优势所在及对比IP
随着视频应用的不断深入和网络技术、图像技术的不断
成熟，视频系统正在迈入数字化、网络化、大型化时代，视频
，就视频看观程远了在为方式下，远。
传统信号数量多，距离
需要部署专用传输线路，线路的数量随着视频数量的增长而
增长，考虑到信号的线路损耗，需要根据实际条件添加中继
设备。
传统方式下的系统无法复用建设好的线路，重复建设
多，成本高。
（）多网融合。
视频处理系统能够使用网络线路，无需进1IP
行线路铺设，系统建设快，成本低，具有多网融合的特点，现
有网络不但能够进行局域网通讯，还能实现视频网的搭建。
（）利于扩容。
视频通过压缩，使用网络接入，在保证质量的2
同时，降低带宽占用，大大提高并行传输视频的数量。
当网
络线路的带宽能够满足同时观看视频数量的需要时，添加视
频点只需添加一台采集设备即可，扩容简单、迅速。
（）节约成本。
视频处理系统充分利用现有资源，扩容便3IP
捷，使得整个系统建设成本大大降低，建设时间快，同时以
设节约成本。
未来的建为能力，也级良的升优其．
六、系统图
VGA/DVI输入
局域网融合服务器远程采集服务器
控制端
七、新版本介绍
、版本介绍7.1
由于流媒体技术得研发成功，因此在设备应用中我IP
们对对端解码器也做了软体的升级，由第一代融合解码器升
级为第二代融合处理器（）V2BLENDONE
其中包括：
BlendOneV2
服务器端BlendOneV2?
SEVER
控制客户端：
BlendOneV2?
Manage
上一代融合解码器并不具备流媒体的解码、采集功IP
能并且针对流媒体的窗口管理机制也没有被集成；而为了Ip
配合对端编码器的应用，我们在第二代融合解码服务器中不
但集成了最新的流媒体的解码、采集技术，并且也集成了IP
针对流媒体的窗口管理机制；IP
界面对比：
第一代界面
第二代界面
从最新的界面中可以看出，在第二代融合解码服务器中
内置了流媒体的解码及采集功能，并且也具备其窗口管IP
理机制；
、窗口管理介绍：
7.2BlendOneV2
升级会员 