1.ts简介

     ts流最早应用于数字电视领域，其格式非常复杂包含的配置信息表多达十几个，视频格式主要是mpeg2。苹果公司发明的http live stream流媒体是基于ts文件的，不过他大大简化了传统的ts流，只需要2个最基本的配置表PAT和PMT，再加上音视频内容就可以了，hls流媒体视频编码的主要格式为h264/mpeg4，音频为aac/mp3。

2.ts格式

     ts文件分为三层：ts层（Transport Stream）、pes层（Packet Elemental Stream）、es层（Elementary Stream）。es层就是音视频数据，pes层是在音视频数据上加了时间戳等对数据帧的说明信息，ts层是在pes层上加入了数据流识别和传输的必要信息。

3.ts层

     ts包大小固定为188字节，ts层分为三个部分：ts header、adaptation field、payload。ts header固定4个字节；adaptation field可能存在也可能不存在，主要作用是给不足188字节的数据做填充；payload是pes数据。

3.1.ts header

     ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明了PMT表的PID值。

• PMT表：他主要的作用就是指明了音视频流的PID值。

• 音频流/视频流：承载音视频内容。

3.2.adaption

     自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考，pcr、dts、pts都是对同一个系统时钟的采样值，pcr是递增的，因此可以将其设置为dts值，音频数据不需要pcr。如果没有字段，ipad是可以播放的，但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field，通常加在一个帧的第一个ts包和最后一个ts包里，中间的ts包不加。

3.3.PAT格式

3.4.PMT格式

4.pes层

     pes层是在每一个视频/音频帧上加入了时间戳等信息，pes包内容很多，我们只留下最常用的。

     pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。

     音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。

举例说明：

                         I          P          B          B          B          P

读取顺序：         1         2          3          4          5          6

dts顺序：           1         2          3          4          5          6

pts顺序：           1         5          3          2          4          6

点播视频dts算法：

dts = 初始值 + 90000 / video_frame_rate，初始值可以随便指定，但是最好不要取0，video_frame_rate就是帧率，比如23、30。

pts和dts是以timescale为单位的，1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。

用一帧的timescale除以采样频率就可以转换为一帧的播放时长

点播音频dts算法：

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame这个值与编解码相关，aac取值1024，mp3取值1158，audio_sample_rate是采样率，比如24000、41000。AAC一帧解码出来是每声道1024个sample，也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播视频的dts和pts应该直接用直播数据流中的时间，不应该按公式计算。

5.es层

     es层指的就是音视频数据，我们只介绍h.264视频和aac音频。

h.264视频：

     打包h.264数据我们必须给视频数据加上一个nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定为0x00000001（帧开始）或0x000001（帧中）。h.264的数据是由slice组成的，slice的内容包括：视频、sps、pps等。nalu type决定了后面的h.264数据内容。

     红色字体显示的内容是最常用的，打包es层数据时pes头和es数据之间要加入一个type=9的nalu，关键帧slice前必须要加入type=7和type=8的nalu，而且是紧邻。

aac音频：

     打包aac音频必须加上一个adts(Audio Data Transport Stream)头，共7Byte，adts包括fixed_header和variable_header两部分，各28bit。

fixed_header

variable_header

mp3音频：

mp3音频不需要加adts头。

6.h264帧类型判断

当nalu type=5或1时，表示后面跟着的数据是视频数据，下面我们只列出前2项。

7.mp4转ts

     我们假设mp4格式中的视频编码为h.264，音频编码为aac。我们从mp4中获取的视频信息包括：sps、pps、dts、pts、帧率、帧数据、ticks（每秒滴答数）。音频信息包括：pts、采样频率、声道数、帧数据。mp4文件的dts和ts文件的dts是需要进行换算的，都是初始值 + 增量，但是增量计算是不同的。

视频信息获取：

音频信息获取：

8.mp4中关于h264和aac的说明

     mp4的stsd原子中包含很多关键的音视频编解码元信息。对于视频数据，不同的编解码格式stsd中包含的子原子类型是不同的。MP4的视频H.264封装有2种格式：h264和avc1，只要看到这两个FOURCC（四字节编码）。就可以肯定是h.264编码，区别在于slice是否有起始码。对于音频数据，stsd中包含的子原子只会是mp4a，mp4a又包含了一个子原子esds，判断音频编码格式的是esds中的第十一个字节，如果是0x40则说明是aac编码，如果是0x69则说明是mp3。

• AVC1 描述:H.264 bitstream without start codes.一般通过ffmpeg转码生成的视频，是不带起始码0×00000001的，但是带有4字节的长度。

• H264 描述:H.264 bitstream with start codes.一般对于一下HDVD等电影的压制格式，是带有起始码0×00000001的。

     除了avc1和h264还可能是下面的FOURCC，只是名字不同而已。

• MEDIASUBTYPE_AVC1 'AVC1' H.264 bitstream without start codes.

• MEDIASUBTYPE_H264 'H264' H.264 bitstream with start codes.

• MEDIASUBTYPE_h264 'h264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_X264 'X264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

• MEDIASUBTYPE_x264 'x264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.

下面这个mp4文件是h.264编码，且不带起始码。

下面这个mp4文件是mpeg4编码。

下面这个mp4文件是aac编码。

下面这个mp4文件是mp3编码。

9.注意

1.纯音频的hls流，ts中需要有pcr字段

附件1：PMT 的 stream type汇总

Value Description

0x00 ITU-T | ISO/IEC Reserved

0x01 ISO/IEC 11172-2 Video

0x02 ITU-T Rec. H.262 | ISO/IEC 13818-2 Video or ISO/IEC 11172-2 constrained parameter video stream

0x03 ISO/IEC 11172-3 Audio

0x04 ISO/IEC 13818-3 Audio

0x05 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 private_sections

0x06 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 PES packets containing private data

0x07 ISO/IEC 13522 MHEG

0x08 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 Annex A DSM-CC

0x09 ITU-T Rec. H.222.1

0x0A ISO/IEC 13818-6 type A

0x0B ISO/IEC 13818-6 type B

0x0C ISO/IEC 13818-6 type C

0x0D ISO/IEC 13818-6 type D

0x0E ITU-T Rec. H.222.0 | ISO/IEC 13818-1 auxiliary

0x0F ISO/IEC 13818-7 Audio with ADTS transport syntax

0x10 ISO/IEC 14496-2 Visual

0x11 ISO/IEC 14496-3 Audio with the LATM transport syntax as defined in ISO/IEC 14496-3/Amd.1

0x12 ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried in PES packets

0x13 ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried in ISO/IEC 14496_sections

0x14 ISO/IEC 13818-6 Synchronized Download Protocol

0x15 Metadata carried in PES packets

0x16 Metadata carried in metadata_sections

0x17 Metadata carried in ISO/IEC 13818-6 Data Carousel

0x18 Metadata carried in ISO/IEC 13818-6 Object Carousel

0x19 Metadata carried in ISO/IEC 13818-6 Synchronized Download Protocol

0x1A IPMP stream (defined in ISO/IEC 13818-11, MPEG-2 IPMP)

0x1B AVC video stream as defined in ITU-T Rec. H.264 | ISO/IEC 14496-10 Video

0x1C ISO/IEC 14496-3 Audio, without using any additional transport syntax, such as DST, ALS and SLS

0x1D ISO/IEC 14496-17 Text

0x1E Auxiliary video stream as defined in ISO/IEC 23002-3

0x1F-0x7E ITU-T Rec. H.222.0 | ISO/IEC 13818-1 Reserved

0x7F IPMP stream

0x80-0xFF User Private

#define STREAMTYPE_11172_VIDEO 0x01

#define STREAMTYPE_13818_VIDEO 0x02

#define STREAMTYPE_11172_AUDIO 0x03

#define STREAMTYPE_13818_AUDIO 0x04

#define STREAMTYPE_13818_PRIVATE 0x05

#define STREAMTYPE_13818_PES_PRIVATE 0x06

#define STREAMTYPE_13522_MHPEG 0x07

#define STREAMTYPE_13818_DSMCC 0x08

#define STREAMTYPE_ITU_222_1 0x09

#define STREAMTYPE_13818_A 0x0a

#define STREAMTYPE_13818_B 0x0b

#define STREAMTYPE_13818_C 0x0c

#define STREAMTYPE_13818_D 0x0d

#define STREAMTYPE_13818_AUX 0x0e

#define STREAMTYPE_AAC_AUDIO 0x0f

#define STREAMTYPE_MPEG4_AUDIO 0x11

#define STREAMTYPE_H264_VIDEO 0x1b

#define STREAMTYPE_AVS_VIDEO 0x42

#define STREAMTYPE_AC3_AUDIO 0x81

#define STREAMTYPE_DTS_AUDIO 0x82