直播类APP功能及技术难点Word格式.docx
《直播类APP功能及技术难点Word格式.docx》由会员分享,可在线阅读,更多相关《直播类APP功能及技术难点Word格式.docx(10页珍藏版)》请在冰豆网上搜索。
禁播、隐藏、审核等;
一个完整直播app原理
直播原理:
把主播录制的视频,推送到服务器,在由服务器分发给观众观看
直播环节:
推流端(采集、美颜处理、编码、推流)、服务端处理(转码、录制、截图、鉴黄)、播放器(拉流、解码、渲染)、互动系统(聊天室、礼物系统、赞)一个完整直播app实现流程
1.采集、2.滤镜处理、3.编码、4.推流、5.CDN分发、6.拉流、
7.解码、8.播放、9.聊天互动一个完整直播app架构一个完整直播app技术点一、流媒体(直播需要用到流媒体)
?
流媒体开发:
网络层(socket或st)负责传输,协议层(rtmp或his)负责网络打包,封装层(flv、ts)负责编解码数据的封装,编码层(h.264和aac)负责图像,音频压缩。
帧:
每帧代表一幅静止的图像
GOP:
(GroupofPictures)画面组,一个GOP就是一组连续
的画面,每个画面都是一帧,一个GOP就是很多帧的集合
直播的数据,其实是一组图片,包括I帧、P帧、B帧,当用户第一次观看的时候,会寻找I帧,而播放器
会到服务器寻找到最近的I帧反馈给用户。
因此,GOPCache增加了端到端延迟,因为它必须要拿到最近的I帧
GOPCache的长度越长,画面质量越好
码率:
图片进行压缩后每秒显示的数据量。
帧率:
每秒显示的图片数。
影响画面流畅度,与画面流畅度成正比:
帧率越大,画面越流畅;
帧率越小,画面越有跳动感。
由于人类眼睛的特殊生理结构,如果所看画面之帧率高于16的时候,就会认为是连贯的,此现象称之为视觉暂留。
并且当帧速达到一定数值后,再增长的话,人眼也不容易察觉到有明显的流畅度提升了。
分辨率:
(矩形)图片的长度和宽度,即图片的尺寸
压缩前的每秒数据量:
帧率X分辨率(单位应该是若干个字节)
压缩比:
压缩前的每秒数据量/码率(对于同一个视频源并
采用同一种视频编码算法,则:
压缩比越高,画面质量越差。
)
视频文件格式:
文件的后缀,比如.wmv,.mov,.mp4,.mp3,.avi,?
主要用处,根据文件格式,系统会自动判断用什么软
件打开,
注意:
随意修改文件格式,对文件的本身不会造成太
大的影响,比如把avi改成mp4,文件还是avi.
视频封装格式:
一种储存视频信息的容器,流式封装可以
有TS、FLV等,索引式的封装有MP4,M0V,AVI等,
主要作用:
一个视频文件往往会包含图像和音频,还有一些配置信息(如图像和音频的关联,如何解码它们等):
这些内容需要按照一定的规则组织、封装起来.
注意:
会发现封装格式跟文件格式一样,因为一般视频文件格式的后缀名即采用相应的视频封装格式的名称,所以视频文件格式就是视频封装格式。
视频封装格式和视频压缩编码标准:
就好像项目工程和编程语言,封装格式就是一个项目的工程,视频编码方式就是编程语言,一个项目工程可以用不同语言开发。
二、直播所用到的基础知识:
1.采集视频、音频
1.1采集视频、音频编码框架
AVFoundation:
AVFoundation是用来播放和创建实时的视听媒体数据的框架,同时提供Objective-C接口来操作这些视听数据,比如编辑,旋转,重编码
1.2视频、音频硬件设备
CCD:
图像传感器:
用于图像采集和处理的过程,把图像转换成电信号。
拾音器:
声音传感器:
用于声音采集和处理的过程,把声音转换成电信号。
音频采样数据:
一般都是PCM格式
视频采样数据:
一般都是YUV,或RGB格式,采集到的原始
音视频的体积是非常大的,需要经过压缩技术处理来提高传输效率
2.视频处理(美颜,水印)
视频处理原理:
因为视频最终也是通过GPU,—帧一帧渲染到屏幕上的,所以我们可以利用OpenGLES,对视频帧进行各种加工,从而视频各种不同的效果,就好像一个水龙头流出的水,经过若干节管道,然后流向不同的目标
现在的各种美颜和视频添加特效的app都是利用GPUImage
这个框架实现的。
视频处理框架
GPUImage:
GPUImage是一个基于OpenGLES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果。
?
OpenGL:
OpenGL(全写OpenGraphicsLibrary)是个定义了一个跨编程语言、跨平台的编程接口的规格,它用于三维图象(二维的亦可)。
OpenGL是个专业的图形程序接口,是一个功能强大,调用方便的底层图形库。
OpenGLES:
OpenGLES(OpenGLforEmbeddedSystems)
是OpenGL三维图形API的子集,针对手机、PDA和
游戏主机等嵌入式设备而设计。
3.视频编码解码
3.1视频编码框架
FFmpeg:
是一个跨平台的开源视频框架,能实现如视频编码
解码,转码,串流,播放等丰富的功能。
其支持的视频格式以及播放协议非常丰富,几乎包含了所有音视频编解码、封装格式以及播放协议。
-Libswresample:
可以对音频进行重采样,rematrixing以及转换采样格式等操作。
-Libavcodec:
提供了一个通用的编解码框架,包含了许
多视频,音频,字幕流等编码/解码器。
-Libavformat:
用于对视频进行封装/解封装。
-Libavutil:
包含一些共用的函数,如随机数生成,数据结
构,数学运算等。
-Libpostproc:
用于进行视频的一些后期处理。
-Libswscale:
用于视频图像缩放,颜色空间转换等。
-Libavfilter:
提供滤镜功能。
X264:
把视频原数据YUV编码压缩成H.264格式
VideoToolbox:
苹果自带的视频硬解码和硬编码API,但是在
iOS8之后才开放。
AudioToolbox:
苹果自带的音频硬解码和硬编码API
3.2视频编码技术
视频压缩编码标准:
对视频进行压缩(视频编码)或者解压缩
(视频解码)的编码技术,比如MPEG,H.264,这些视频
编码技术是压缩编码视频的?
主要作用:
是将视频像素数据压缩成为视频码流,从而降低视频的数据量。
如果视频不经过压缩编码的话,体积通常是非常大的,一部电影可能就要上百G的空间。
注意:
最影响视频质量的是其视频编码数据和音频编
码数据,跟封装格式没有多大关系?
MPEG:
一种视频压缩方式,它采用了帧间压缩,仅存储连续帧之间有差别的地方,从而达到较大的压缩比?
H.264/AVC:
—种视频压缩方式,采用事先预测和与MPEG中的P-B帧一样的帧预测方法压缩,它可以根据需要产生适合网络情况传输的视频流,还有更高的压缩比,有更好的图象质量?
注意1:
如果是从单个画面清晰度比较,MPEG4有优势;
从动作连贯性上的清晰度,H.264有优势
注意2:
由于264的算法更加复杂,程序实现烦琐,运行
它需要更多的处理器和内存资源。
因此,运行264对系统要求是比较高的。
注意3:
由于264的实现更加灵活,它把一些实现留给了
厂商自己去实现,虽然这样给实现带来了很多好处,但是不同产品之间互通成了很大的问题,造成了通过A公司的编码器编出的数据,必须通过A公司的解码器去解这样尴尬的事情?
H.265/HEVC:
一种视频压缩方式,基于H.264,保留原来的某些技术,同时对一些相关的技术加以改进,以改善码流、编码质量、延时和算法复杂度之间的关系,达到最优化设置。
H.265是一种更为高效的编码标准,能够在同等画质效果下将内容的体积压缩得更小,传输时更快更省带宽
I帧:
(关键帧)保留一副完整的画面,解码时只需要本帧
数据就可以完成(因为包含完整画面)?
P帧:
(差别帧)保留这一帧跟之前帧的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。
(P帧没有完整画面数据,只有与前一帧的画面差别的数据)?
B帧:
(双向差别帧)保留的是本帧与前后帧的差别,解码B帆不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面压缩率高,但是解码时CPU会比较累?
?
帧内(Intraframe)压缩:
当压缩一帧图像时,仅考虑本帧的数据而不考虑相邻帧之间的冗余信息,帧内一般采用有损压缩算法?
帧间(Interframe)压缩:
时间压缩(Temporalcompression),它通过比较时间轴上不同帧之间的数据进行压缩。
帧间压缩一般是无损的?
muxing(合成):
将视频流、音频流甚至是字幕流封装到一个文件中(容器格式(FLV,TS)),作为一个信号进行传输。
3.3音频编码技术
AAC,mp3:
这些属于音频编码技术,压缩音频用
3.4码率控制
多码率:
观众所处的网络情况是非常复杂的,有可能是WiFi,
有可能4G、3G、甚至2G,那么怎么满足多方需求呢?
多搞几条线路,根据当前网络环境自定义码率。
列如:
常常看见视频播放软件中的1024,720,高清,标清,流畅等,指的就是各种码率。
3.5视频封装格式
TS:
一种流媒体封装格式,流媒体封装有一个好处,就是不需要加载索引再播放,大大减少了首次载入的延迟,如果片子比较长,mp4文件的索引相当大,影响用户体验?
FLV:
一种流媒体封装格式,由于它形成的文件极小、加载
速度极快,使得网络观看视频文件成为可能,因此FLV
格式成为了当今主流视频格式
4.推流
4.1数据传输框架
librtmp:
用来传输RTMP协议格式的数据
4.2流媒体数据传输协议
RTMP:
实时消息传输协议,AdobeSystems公司为Flash播放器
和服务器之间音频、视频和数据传输开发的开放协议,因为是开放协议所以都可以使用了。
chunk:
消息包
RTMP协议用于对象、视频、音频的传输。
这个协议建立在TCP协议或者轮询HTTP协议之上。
RTMP协议就像一个用来装数据包的容器,这些数据
可以是FLV中的视音频数据。
一个单一的连接可以通过不同的通道传输多路网络流,这些通道中的包都是按照固定大小的包传输的
5.流媒体服务器