RTP打包发送H264（中）

       接着上次的说，上次主要是讲的是H264的NAL，其实RTP打包发送的就是一个个NAL，只是打包的方式会不同。

     H264的码流的打包方式有两种：一种为annex-b byte stream format的格式,是绝大部分编码器的默认输出格式，就是每个帧的开头的3~4个字节是H264的start_code（0x00000001或者0x000001）。另一种是原始的NAL打包格式，就是开始的若干字节（1，2，4字节）是NAL的长度，而不是start_code，此时必须借助某个全局的数据来获得编码器的profile、level、PPS、SPS等信息才可以解码。RTP传输的是annexb的h264码流。RTP格式流为：NALU数据+20个字节的类似的并不符合RTP协议的RTP头。这里注意：H.264协议只规定了字节流格式（即annex-b byte stream format），没有规定 RTP 格式。实际包交换网络中必须按照 RFC3984 将 NALU 数据封装为 RTP 包。这里简单说下RTP的概念以及和其它容易搞混的概念。

      RTP: Real-time Transport Protocol,实时传输协议，一般用于多媒体数据的传输。
      RTCP: RTP Control Protocol，实时传输控制协议，同RTP一起用于数据传输的监视，控制功能。
      RTSP: Real Time Streaming Protocol,实时流协议，用于多媒体数据流的控制，如播放，暂停等。
      RTP/RTCP相对于底层传输层，和RTSP，SIP等上层协议一起可以实现视频会议，视频直播等应用。

      RTP数据包由RTP header和RTP payload组成.

 RTP header格式，见下图：

各个字段代表含义如下：

V:版本号，一般为2;
P：填充字段标识；
X：扩展头标识；

CC：CSRC计数，4比特

M：标志 1bit，在传输h264时表示h264 nalu的最后一包
PT：负载类型 7 bits, H264类型为96,荷载类型的赋值或者通过profile或者通过动态方式
SN：序列号16 bits
Timestamp：时间戳32bits，如果为视频的话，应该设置为1/9000,音频为1/8000，如果NAL单元没有他自己的时间属性(即,parameter set and SEI NAL units)，RTP时戳设置成访问单元主编码图像的RTP时戳。
SSRC：32bits，用以识别同步源。
CSRC列表：0到15项，每项32比特，CSRC列表识别在此包中负载的所有贡献源。识别符的数目在CC域中给定。若有贡献源多于15个，仅识别15个。CSRC识别符由混合器插入，并列出所有贡献源的SSRC识别符。例如语音包，混合产生新包的所有源的SSRC标识符都被列出，这样可以在接收端正确指示参与者。    

RTP payload格式：

        H.264Payload 格式定义了三种不同的基本的负载(Payload)结构，接收端可能通过RTP Payload的第一个字节来识别它们。这一个字节类似NALU 头的格式，而这个头结构的NAL 单元类型字段则指出了代表的是哪一种结构，这个字节的结构如下：

F        1比特
NRI      2比特
Type     5比特

可以看出它和H.264 的NALU 头结构是一样的。

字段Type：这个RTP payload 中 NAL 单元的类型。 这个字段和 H.264 中类型字段的区别是，当type的值为24-31表示这是一个特别格式的 NAL 单元，而H.264中，只取1-23是有效的值。

关于NALU使用RTP包进行发送可能的类型有：

1. 单一 NAL 单元模式
       即一个 RTP 包仅由一个完整的 NALU 组成。这种情况下 RTP NAL 头类型字段和原始的H.264的NALU 头类型字段是一样的。
对于 NALU的长度小于 MTU 大小的包，一般采用单一 NAL 单元模式。对于一个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成，其中 Start Code 用于标示这是一个NALU 单元的开始，必须是"00 00 00 01" 或"00 00 01"，
NALU 头仅一个字节，其后都是 NALU 单元内容。打包时去除 "00 00 01" 或"00 00 00 01" 的开始码，把其他数据封包的 RTP 包即可，有如下例子：
[00 0000 01 67 42 A0 1E 23 56 0E 2F ... ]
封装成 RTP 包将如下:
[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]
（在这里要说明的是，如果客户端是通用的播放器，比如VLC或者JM的话需要将前导码去掉，但是如果使用的是ffmpeg在客户端解码的话，发送前不需要去掉前导码，去掉之后可能会导致ffmpeg解码错误）。

2. 组合封包模式
       即可能是由多个 NAL 单元组成一个 RTP 包。分别有4种组合方式：STAP-A，STAP-B， MTAP16， MTAP24。那么这里的类型值分别是 24，25，26 以及 27。

3. 分片封包模式
       用于把一个 NALU单元封装成多个 RTP 包。存在两种类型 FU-A 和 FU-B。类型值分别是 28 和 29。
而当 NALU 的长度超过 MTU 时，就必须对 NALU 单元进行分片封包。 也称为Fragmentation Units(FUs)。将NALU拆分成小于MTU的数据包进行发送，如果使用的是VLC等网络播放器的话，需要设置FU header，如下图所示：

如果使用的是ffmpeg自行进行数据包接收与解码，则完全不必写FU header。

其实在后面的实际操作中会发现，SPS、PPS都是非常小，不到一百个字节，都是单个的NAl进行打包发送，而I帧一般都比较大，会采用分包发送，一般也是FU-A方式分片，其中MTU一般是1500个字节。FFmpeg中都有现成的源程序可以参考的。