RTP 实战与排错 — Wireshark 解码、ffmpeg 推流与音视频故障定位

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

rtp # RTP 包
rtcp # RTCP 包
rtp.ssrc == 0xA1B2C3D4 # 指定流
rtp.p_type == 0 # PCMU（G.711 μ-law）
rtp.p_type == 8 # PCMA
rtp.p_type >= 96 # 动态负载类型（Opus/H.264/VP8）
rtp.marker == 1 # 帧结束（视频）/ 语音突发起始（音频）
rtp.seq == 1003 # 指定序号
rtp.timestamp
rtp.ext # 头部扩展（WebRTC 的 TWCC/abs-send-time）

rtcp.pt == 200 # SR 发送报告
rtcp.pt == 201 # RR 接收报告
rtcp.pt == 202 # SDES（看 CNAME）
rtcp.pt == 203 # BYE
rtcp.pt == 205 # RTPFB：NACK / TWCC
rtcp.pt == 206 # PSFB：PLI / FIR / REMB
rtcp.ssrc.fraction_lost > 0 # 有丢包上报
rtcp.ssrc.jitter > 100 # 抖动偏大

sip # 信令
sip.Method == "INVITE"
sdp # 会话描述（看协商出的端口与编码）
rtsp # RTSP 遥控
srtp # 加密的 RTP（WebRTC 场景，负载不可读）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

# 抓 SIP + RTP（信令与媒体一起，方便自动解码）
sudo tcpdump -i any -nn -s0 'udp portrange 10000-20000 or port 5060' -w rtp.pcap

# 用 tshark 统计 RTP 流
tshark -r rtp.pcap -q -z rtp,streams
tshark -r rtp.pcap -d 'udp.port==49170,rtp' -Y rtp -T fields \
  -e frame.time_relative -e rtp.ssrc -e rtp.seq -e rtp.timestamp -e rtp.p_type -e rtp.marker

# 查看 RTCP 反馈
tshark -r rtp.pcap -Y 'rtcp' -T fields \
  -e rtcp.pt -e rtcp.ssrc.fraction_lost -e rtcp.ssrc.cum_nr -e rtcp.ssrc.jitter

# 提取 SDP 看协商结果
tshark -r rtp.pcap -Y 'sdp' -V | grep -E '^\s+(Media Description|Media Attribute)'

# 实时观察 SIP 通话（VoIP 排错神器）
sudo sngrep # 交互式 SIP 流程图 + RTP 统计
sudo sngrep -r rtp.pcap

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 推 RTP 音频（G.711 μ-law）
ffmpeg -re -i input.wav -acodec pcm_mulaw -ar 8000 -ac 1 \
       -f rtp rtp://192.168.1.20:49170

# 推 RTP 视频（H.264）
ffmpeg -re -i input.mp4 -an -c:v libx264 -preset ultrafast -tune zerolatency \
       -f rtp rtp://192.168.1.20:5004

# 推音视频（两条 RTP 流 + 生成 SDP）
ffmpeg -re -i input.mp4 \
  -c:v libx264 -tune zerolatency -f rtp rtp://192.168.1.20:5004 \
  -c:a libopus -ar 48000 -f rtp rtp://192.168.1.20:5006 \
  -sdp_file stream.sdp

# 接收播放（需要 SDP 文件描述编码与端口）
ffplay -protocol_whitelist file,udp,rtp -i stream.sdp
ffplay -protocol_whitelist file,udp,rtp -fflags nobuffer -flags low_delay -i stream.sdp

# 录制 RTP 到文件
ffmpeg -protocol_whitelist file,udp,rtp -i stream.sdp -c copy out.mp4

# 从 RTSP 摄像头拉流（内部用 RTP 传媒体）
ffplay -rtsp_transport tcp rtsp://admin:pass@192.168.1.64:554/Streaming/Channels/101
ffmpeg -rtsp_transport udp -i rtsp://192.168.1.64:554/live -c copy -t 30 clip.mp4
ffprobe -v error -show_streams rtsp://192.168.1.64:554/live # 查看流信息

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

v=0
o=- 0 0 IN IP4 127.0.0.1
s=Test Stream
c=IN IP4 192.168.1.20
t=0 0
m=video 5004 RTP/AVP 96
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1
m=audio 5006 RTP/AVP 111
a=rtpmap:111 opus/48000/2

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# 发送：H.264 over RTP
gst-launch-1.0 videotestsrc ! x264enc tune=zerolatency ! rtph264pay config-interval=1 pt=96 \
  ! udpsink host=192.168.1.20 port=5004

# 接收：带抖动缓冲
gst-launch-1.0 udpsrc port=5004 caps="application/x-rtp,media=video,encoding-name=H264,payload=96" \
  ! rtpjitterbuffer latency=200 ! rtph264depay ! avdec_h264 ! autovideosink

# 音频 Opus
gst-launch-1.0 audiotestsrc ! opusenc ! rtpopuspay pt=111 ! udpsink host=192.168.1.20 port=5006
gst-launch-1.0 udpsrc port=5006 caps="application/x-rtp,media=audio,encoding-name=OPUS,payload=111" \
  ! rtpjitterbuffer ! rtpopusdepay ! opusdec ! autoaudiosink

# 带 RTCP 的完整会话（rtpbin 自动处理 SR/RR 与同步）
gst-launch-1.0 -v rtpbin name=rtpbin \
  videotestsrc ! x264enc tune=zerolatency ! rtph264pay ! rtpbin.send_rtp_sink_0 \
  rtpbin.send_rtp_src_0 ! udpsink host=192.168.1.20 port=5004 \
  rtpbin.send_rtcp_src_0 ! udpsink host=192.168.1.20 port=5005 sync=false async=false \
  udpsrc port=5007 ! rtpbin.recv_rtcp_sink_0

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# SIP 通话实时监控（含 RTP 质量统计）
sudo sngrep -c # 只显示呼叫流
sudo sngrep host 192.168.1.10

# Asterisk / FreeSWITCH
asterisk -rx "rtp set debug on"
asterisk -rx "sip show channelstats" # 查看每路的丢包与抖动
fs_cli -x "show channels"
fs_cli -x "sofia status profile internal"

# 网络质量基线（RTP 对丢包/抖动敏感）
mtr -u -P 49170 192.168.1.20 # UDP 模式路径质量
iperf3 -c 192.168.1.20 -u -b 1M -t 30 # UDP 丢包与抖动测试（输出即 jitter/lost）
ping -i 0.2 -c 100 192.168.1.20 # 看 RTT 波动

1
2

chrome://webrtc-internals/ # 实时曲线：packetsLost、jitter、RTT、bitrate、framesDropped
about:webrtc # Firefox

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

// 代码内获取统计
const stats = await pc.getStats();
stats.forEach(r => {
  if (r.type === 'inbound-rtp' && r.kind === 'video') {
    console.log('丢包', r.packetsLost, '抖动', r.jitter,
                '解码帧', r.framesDecoded, '关键帧请求', r.pliCount, 'NACK', r.nackCount);
  }
  if (r.type === 'candidate-pair' && r.state === 'succeeded') {
    console.log('RTT', r.currentRoundTripTime, '可用带宽', r.availableOutgoingBitrate);
  }
});

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# 放行 RTP 端口范围（示例：Asterisk 默认 10000-20000）
sudo firewall-cmd --permanent --add-port=10000-20000/udp
sudo firewall-cmd --permanent --add-port=5060/udp
sudo firewall-cmd --reload
sudo ufw allow 10000:20000/udp

# 加载 SIP 连接跟踪（帮助 NAT 自动开洞，但常与 SBC 冲突）
sudo modprobe nf_conntrack_sip
# 很多场景下应当**关闭** SIP ALG（它会错误改写 SDP 导致单通）
sudo modprobe -r nf_nat_sip nf_conntrack_sip

# 测试 STUN 穿透
stunclient stun.l.google.com 19302
turnutils_uclient -v -u user -w pass turn.example.com

1
2
3

# ① 抓包确认 RTP 流方向：应有双向两条流
tshark -r call.pcap -q -z rtp,streams
# 只有一条 → 某方向根本没发或没到

1
2
3

# 给 RTP 打 DSCP EF (46)
sudo iptables -t mangle -A OUTPUT -p udp --dport 10000:20000 -j DSCP --set-dscp-class EF
# 交换机侧需信任 DSCP 并配置优先队列

1
2
3

# 让 H.264 周期性重发 SPS/PPS（关键！否则中途加入者永远解不出画面）
ffmpeg -i in.mp4 -c:v libx264 -x264-params keyint=60:scenecut=0:repeat-headers=1 \
       -f rtp rtp://host:5004

1
2
3
4

# ① 有没有 RTCP SR？没有 SR 就没有同步锚点
tshark -r call.pcap -Y 'rtcp.pt==200' | wc -l # 应 > 0
# ② 音视频流的 CNAME 是否相同？不同则无法关联
tshark -r call.pcap -Y 'rtcp.pt==202' -V | grep -i cname

1
2
3
4
5

# 分步排查
nc -zv 192.168.1.64 554 # ① TCP 554 通吗
curl -v rtsp://192.168.1.64:554/live 2>&1 | head -20 # ② 有无 401（认证）
ffprobe -rtsp_transport tcp rtsp://admin:pass@192.168.1.64:554/live # ③ 用 TCP 交织传输
tshark -i any -Y rtsp -V | grep -E 'DESCRIBE|SETUP|PLAY|Transport' # ④ 看协商细节

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

音视频有问题？
├─ 抓包：有 RTP 流吗？
│ ├─ 没有 → 信令失败（SIP/SDP/RTSP）、防火墙、NAT
│ ├─ 只有单向 → 单通问题：SDP 私网地址 / SIP ALG / 防火墙
│ └─ 双向都有 → 继续
├─ RTP Streams 看丢包率与抖动
│ ├─ 丢包 >1% → 链路质量、拥塞、无线干扰 → FEC/NACK/降码率
│ ├─ 抖动大 → 加深抖动缓冲 + QoS DSCP EF
│ └─ 正常 → 继续
├─ 有 RTCP 吗？
│ ├─ 没有 → 唇音不同步、无自适应 → 放行 RTCP 端口或启 rtcp-mux
│ └─ 有 → 看 fraction_lost / jitter / RTT
├─ SSRC 稳定吗？ 突变 → 发送端重启或冲突
├─ 时间戳规律吗？ 不规律 → 采集/编码卡顿
└─ 视频花屏 → 关键帧策略（GOP、repeat-headers、PLI 响应）