SRS流媒体服务器中RTMP转WebRTC的帧率问题分析与解决方案

问题背景

在使用SRS流媒体服务器进行RTMP到WebRTC的转换过程中，开发者遇到了一个典型的帧率下降问题。当使用DJI Mavic Enterprise（热成像）无人机进行RTMP推流时，在iOS和Mac Safari浏览器上会出现严重的帧率下降现象，而使用DJI mini 3 pro或FFmpeg推流则表现正常。

问题现象

开发者观察到以下现象：

1. 使用FFmpeg或DJI mini 3 pro通过RTMP推流时，所有客户端设备都能正常播放
2. 使用DJI Mavic Enterprise（热成像）推流时，iOS和Mac Safari浏览器出现严重帧率下降
3. 所有流都使用相同的编码设置（H264，Level 3.1/4，不同分辨率）

技术分析

经过深入分析，发现问题根源在于H.264编码的profile设置。具体表现为：

1. 编码profile差异：不同设备/工具使用的H.264编码profile不同。DJI Mavic Enterprise可能使用High/Main profile，而其他设备使用Baseline profile。

2. B帧兼容性问题：High/Main profile支持B帧（双向预测帧），而Baseline profile不支持。某些浏览器（特别是Safari）对B帧的支持存在问题。

3. 硬件编码影响：使用NVIDIA NVENC硬件编码器（h264_nvenc）时也会产生类似问题，因为它默认使用High profile并包含B帧。

解决方案

针对这一问题，推荐以下解决方案：

1. 强制使用Baseline profile：

   ffmpeg -re -i input.mp4 -vcodec h264 -profile:v baseline -acodec copy -f flv rtmp://server/live/stream
   

2. 禁用B帧（当必须使用High/Main profile时）：

   ffmpeg -re -i input.mp4 -vcodec h264 -bf 0 -acodec copy -f flv rtmp://server/live/stream
   

3. 硬件编码器设置： 对于NVIDIA NVENC编码器，可以尝试：

   ffmpeg -re -i input.mp4 -vcodec h264_nvenc -profile:v baseline -acodec copy -f flv rtmp://server/live/stream
   

最佳实践

1. WebRTC场景优先使用Baseline profile：确保最佳兼容性，特别是在移动设备和Safari浏览器上。

2. 测试不同编码设置：在实际部署前，使用ffprobe检查流的编码属性：

   ffprobe -show_frames rtmp://server/live/stream
   

3. 避免级联转码：防止多次转码导致的"雪崩效应"，这会显著增加延迟并可能引入新的问题。

结论

SRS流媒体服务器在RTMP转WebRTC的场景中，H.264编码的profile选择对播放兼容性有重大影响。通过强制使用Baseline profile或禁用B帧，可以有效解决iOS和Safari上的帧率下降问题。这一解决方案已被SRS项目官方采纳并合并到主分支中。

对于无人机直播等专业场景，建议在推流前明确设置编码参数，确保与WebRTC播放端的兼容性，从而提供流畅的观看体验。