ts流解析规则Word格式文档下载.docx
《ts流解析规则Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《ts流解析规则Word格式文档下载.docx(11页珍藏版)》请在冰豆网上搜索。
![ts流解析规则Word格式文档下载.docx](https://file1.bdocx.com/fileroot1/2022-10/27/156ac5a4-b216-42b4-90b7-3cd330be9840/156ac5a4-b216-42b4-90b7-3cd330be98401.gif)
描述单个媒体文件的长度。
后面为媒体文件,如./0.ts
2、ts文件
ts文件为传输流文件,视频编码主要格式h264/mpeg4,音频为acc/MP3。
ts文件分为三层:
ts层TransportStream、pes层PacketElemental
Stream、es层ElementaryStream.es层就是音视频数据,pes层是在音视频数据上加了时间戳等对数据帧的说明信息,ts层就是在pes层加入数据流的识别和传输必须的信息
注:
详解如下
(1)ts层ts包大小固定为188字节,ts层分为三个部分:
tsheader、adaptation
field、payload。
tsheader固定4个字节;
adaptationfield可能存在也可能不存在,主要作用是给不足188字节的数据做填充;
payload是pes数据。
tsheader
同步字节,固定为0x47
8b
sync_byte
传输错误指示符,表明在ts头的adapt域后由一个无用字节,通常都为0,这个字节算在adapt域长度1b
transport_error_indicator
内
负载单元起始标示符,一个完整的数据包开始时标记payload_unit_start_indicator
1b
为1
传输优先级,0为低优先级,1为高优先级,通常取transport_priority
0
pid
13b
值pid
transport_scrambling_control
2b
表示未加密传输加扰控制,00
adaptation_field_control
仅为无自适应域,保留;
‘01'
是否包含自适应区,‘00'
‘11'
为仅含自适应域,含有效负载;
‘10'
无有效负载;
为同时带有自适应域和有效负载。
continuity_counter
4b
递增计数器,从0-f,起始值不一定取0,但必须是连续的
ts层的内容是通过PID值来标识的,主要内容包括:
PAT表、PMT表、音频流、视频流。
解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。
PAT表的PID值固定为0。
PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。
PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过hls流只要有PAT和PMT就可以播放了。
?
PAT表:
他主要的作用就是指明了PMT表的PID值。
PMT表:
他主要的作用就是指明了音视频流的PID值。
音频流/视频流:
承载音视频内容。
adaption
adaptation_field_length
1B
自适应域长度,后面的字节数
flag
PCR
表示不包含0x40或PCR表示包含0x50取
,节目时钟参考,用于恢复出与ProgramClockReference5B
PCRSTC(SystemTimeClock)。
编码端一致的系统时序时钟0xff
填充字节,取值xBstuffing_bytes
是节目时钟参自适应区的长度要包含传输错误指示符标识的一个字节。
pcr
是递增的,因此可以将pcr、pts都是对同一个系统时钟的采样值,pcr考,、dts是可以播放的,但ipad值,音频数据不需要pcr。
如果没有字段,其设置为dts不够的长的,表是没有adaptationfieldts流时PAT和PMT无法播放。
vlc打包,通常加在一个adaptationfield0xff即可。
视频流和音频流都需要加度直接补ts包不加。
ts包和最后一个ts包里,中间的帧的第一个
PAT格式PAT表固定为0x008b
table_id
固定为1section_syntax_indicator1b
0固定为zero1b
11
固定为2b
reserved
后面数据的长度12bsection_length
传输流ID,固定为0x000116btransport_stream_id
固定为11
2breserved
版本号,固定为00000,如果PAT有变化则版本号加15b
version_number
固定为1,表示这个PAT表可以用,如果为0则要等待current_next_indicator1b
表PAT下一个
0x00固定为8bsection_number
0x00固定为8blast_section_number
开始循环,0x0001时时表示这是NIT,节目号为节目号为0x000016b
program_numberPMT表示这是111
固定为3b
值节目号对应内容的PID13bPID
结束循环校验码前面数据的CRC3232bCRC32
格式PMTPMT表取值随意,0x028b
表示当前的PMT关联到的频道,取值0x0001频道号码,16bprogram_number
版本号,固定为00000,如果PAT有变化则版本号加15bversion_number
固定为11bcurrent_next_indicator
固定为0x008bsection_number
固定为0x008blast_section_number
固定为111
3b
指定为视频PIDPCR(节目参考时钟)所在TS分组的PID,13bPCR_PID
1111
固定为4b
表示没有节目描述信息,指定为0x00012bprogram_info_length
开始循环h.264Audio还是其他数据,流类型,标志是Video还是8b
stream_type0x03mp3编码对应编码对应0x0f,编码对应0x1b,aac111
PID对应的与stream_type13belementary_PID
表示没有描述信息,指定为0x00012bES_info_length
结束循环CRC32校验码前面数据的32bCRC32
(2)pes层
pes层是在每一个视频/音频帧上加入了时间戳等信息,pes包内容很多,我们只留下最常用的。
开始码,固定为0x000001
3Bpesstartcode
音频取值(0xc0-0xdf),通常为0xc0
streamid
视频取值(0xe0-0xef),通常为0xe0
后面pes数据的长度,0表示长度不限制,
pespacketlength2B
只有视频数据长度会超过0xffff
通常取值0x80,表示数据不加密、无优先级、备份的数据1Bflag
取值0x80表示只含有pts,取值0xc0表示含有pts和dts1Bflag
后面数据的长度,取值5或101Bpesdatalength
值33bit5Bpts
dts
5B
值33bit
pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。
有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。
如果一个视频没有B帧,则pts永远和dts相同。
从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。
dts算法比较简单,初始值+增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。
音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。
打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。
举例说明:
IPBBBP
读取顺序:
123456
dts顺序:
pts顺序:
153246
点播视频dts算法:
dts=初始值+90000/video_frame_rate,初始值可以随便指定,但是最好不要取0,video_frame_rate就是帧率,比如23、30。
pts和dts是以timescale为单位的,1s=90000timescale,一帧就应该是90000/video_frame_rate个timescale。
用一帧的timescale除以采样频率就可以转换为一帧的播放时长
点播音频dts算法:
dts=初始值+(90000*audio_samples_per_frame)/audio_sample_rate,audio_samples_per_frame这个值与编解码相关,aac取值1024,mp3取值一帧解码出来AAC。
41000、24000是采样率,比如audio_sample_rate,1158.
是每声道1024个sample,也就是说一帧的时长为1024/sample_rate秒。
所以每一帧时间戳依次0,1024/sample_rate,...,1024*n/sample_rate秒。
直播视频的dts和pts应该直接用直播数据流中的时间,不应该按公式计算。
(3)es层
es层指的就是音视频数据,我们只介绍h.264视频和aac音频。
h.264视频:
打包h.264数据我们必须给视频数据加上一个nalu(NetworkAbstraction
Layerunit),nalu包括naluheader和nalutype,naluheader固定为0x00000001(帧开始)或0x000001(帧中)。
h.264的数据是由slice组成的,slice的内容包括:
视频、sps、pps等。
nalutype决定了后面的h.264数据内容。
SPS序列参数集7图像参数集PPS8分解符9序列结束10
码流结束11
填充12
保留13~23
未使用24~31