RTP 原理与报文 — 12 字节头、时间戳语义与 RTCP 反馈

1
2
3
4
5

采集 → 编码（Opus/H.264）→ 按 Payload Format 切分为 RTP 负载
     → 加 RTP 头（seq++、timestamp = 采样时刻、SSRC、PT、M 位）
     → （可选）SRTP 加密与认证
     → UDP → IP
同时：周期性发送 RTCP SR（含 NTP 时间 ↔ RTP 时间戳映射、已发包数/字节数）

1
2
3
4
5
6
7

UDP 收包 → （SRTP 解密验签）→ 校验 SSRC 与 PT
        → 按 seq 重排、检测丢包（可触发 NACK 请求重传）
        → 送入 Jitter Buffer（抖动缓冲），按 timestamp 决定播放时刻
        → 解码 → 丢包隐藏（PLC）/ 关键帧请求（PLI）
        → 结合 RTCP SR 的 NTP 映射做音视频同步
        → 渲染播放
同时：周期性发送 RTCP RR（丢包率、累计丢包、最高序号、抖动、DLSR）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

 0 1 2 3
 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|V=2|P|X| CC |M| PT | sequence number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| timestamp |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| synchronization source (SSRC) identifier |
+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
| contributing source (CSRC) identifiers [0..15] |
| .... |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| (可选) 头部扩展: profile-specific id | length | data |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| payload (媒体数据) |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

sequenceDiagram
    autonumber
    participant A as 主叫 Alice
    participant P as SIP 代理/信令
    participant B as 被叫 Bob

    Note over A,B: ① 信令阶段（SIP + SDP，不走 RTP）
    A->>P: INVITE (SDP offer)<br/>m=audio 49170 RTP/AVP 0 8 111<br/>a=rtpmap:111 opus/48000/2
    P->>B: INVITE (SDP offer)
    B->>P: 200 OK (SDP answer)<br/>m=audio 52000 RTP/AVP 111<br/>选定 Opus
    P->>A: 200 OK (SDP answer)
    A->>B: ACK
    Note over A,B: 媒体参数确定：Opus/48000，<br/>A:49170 ↔ B:52000（RTCP 用 49171/52001）

    Note over A,B: ② RTP 媒体流（双向，UDP）
    loop 每 20 ms 一个包
        A->>B: RTP PT=111 seq=1001 ts=960000 SSRC=0xA1B2C3D4 [Opus 帧]
        A->>B: RTP PT=111 seq=1002 ts=960960 SSRC=0xA1B2C3D4
        B->>A: RTP PT=111 seq=5001 ts=440100 SSRC=0xE5F6A7B8
    end

    Note over A,B: ③ 丢包场景
    A-XB: RTP seq=1003 （网络丢失）
    A->>B: RTP seq=1004 ts=962880
    Note right of B: 检测到 seq 跳变 1002→1004<br/>音频：PLC 丢包隐藏<br/>视频：可发 NACK 请求重传
    B->>A: RTCP RTPFB NACK (PID=1003)
    A->>B: RTP seq=1003 (重传，若延迟允许)

    Note over A,B: ④ RTCP 周期反馈（约每 5 秒，占带宽 ≤5%）
    A->>B: RTCP SR: NTP=e0c8... RTP_ts=960000<br/>packets=250 octets=40000
    B->>A: RTCP RR: fraction_lost=3/256 jitter=48<br/>LSR / DLSR
    Note right of A: RTT = now - LSR - DLSR<br/>据丢包率与 RTT 下调码率
    A->>B: RTCP SDES: CNAME=alice@10.0.0.1

    Note over A,B: ⑤ 视频场景的额外反馈
    B->>A: RTCP PSFB PLI （花屏，请求关键帧）
    A->>B: RTP 立即编码并发送 IDR 关键帧
    B->>A: RTCP PSFB REMB / RTPFB TWCC （带宽估计）
    Note right of A: 拥塞控制算法（GCC）调整目标码率

    Note over A,B: ⑥ 音视频同步（多流场景）
    Note right of B: 用音频流 SR 的 (NTP, RTP_ts)<br/>与视频流 SR 的 (NTP, RTP_ts)<br/>换算到统一时间轴 → lip-sync<br/>同 CNAME 的流属于同一参与者

    Note over A,B: ⑦ 结束
    A->>B: RTCP BYE (SSRC=0xA1B2C3D4)
    A->>P: BYE (SIP)
    P->>B: BYE
    B->>P: 200 OK

1
2

D(i-1, i) = (R_i - R_{i-1}) - (S_i - S_{i-1})
            └─ 到达间隔 ─┘ └─ 发送(采样)间隔 ─┘

1

J(i) = J(i-1) + ( |D(i-1, i)| - J(i-1) ) / 16

1
2

音频: NTP_a ↔ RTPts_a (48000 Hz) → 某音频包 ts 对应绝对时刻 = NTP_a + (ts - RTPts_a)/48000
视频: NTP_v ↔ RTPts_v (90000 Hz) → 某视频帧 ts 对应绝对时刻 = NTP_v + (ts - RTPts_v)/90000

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71

mindmap
  root((RTP 实时传输协议))
    设计哲学
      应用层框架非完整协议
      不可靠不保序
      无拥塞控制无QoS保证
      迟到即无用
      Profile + Payload Format 扩展
    RTP 固定头 12字节
      V 版本2
      P 填充
      X 头部扩展
      CC CSRC计数
      M 标记位
      PT 负载类型
      序列号 16位
      时间戳 32位
      SSRC 32位
      CSRC 列表
    时间戳语义
      媒体采样时钟非毫秒
      音频8k Opus48k
      视频统一90k
      同帧分片时间戳相同
      初值随机
    负载类型
      静态 0 PCMU 8 PCMA 9 G722 18 G729
      动态 96-127
      SDP a=rtpmap 声明
      72-76 保留避让RTCP
    RTCP
      200 SR 发送报告
      201 RR 接收报告
      202 SDES CNAME
      203 BYE
      204 APP
      205 RTPFB NACK TWCC
      206 PSFB PLI FIR REMB
      207 XR
      带宽占5%
      最小间隔5秒
    质量机制
      抖动计算 指数平滑
      抖动缓冲 自适应
      PLC 丢包隐藏
      NACK 重传
      FEC 前向纠错
      RED 冗余编码
      PLI FIR 关键帧请求
      RTT = now - LSR - DLSR
    音视频同步
      SDES CNAME 关联流
      SR 的 NTP-RTP 映射
      换算统一时间轴
      G.114 延迟150ms
    网元角色
      Mixer 混音器改SSRC填CSRC
      Translator 转换器保留SSRC
      MCU 与 SFU
    安全与承载
      SRTP RFC3711
      DTLS-SRTP WebRTC
      SDES a=crypto
      rtcp-mux RFC5761
      BUNDLE
      UDP / TCP交织 / QUIC
    相关协议
      SDP 会话描述
      RTSP 遥控
      SIP 呼叫控制
      ICE STUN TURN