RTSP-Simple-Server中MediaRecorder录制WebRTC视频流的问题分析

问题背景

在使用RTSP-Simple-Server(现更名为MediaMTX)进行WebRTC视频流传输时，开发者遇到了一个特殊问题：通过WHEP协议获取的WebRTC视频流无法被MediaRecorder正常录制。虽然视频可以正常播放，但录制时只能获取1-2秒的片段。

问题现象

开发者尝试使用以下流程进行视频录制：

1. 通过FFmpeg将USB摄像头视频推流到RTSP-Simple-Server
2. 使用WHEP协议获取WebRTC视频流
3. 在浏览器中使用MediaRecorder API进行录制

虽然视频可以正常播放，但录制时发现：

• 定时触发的ondataavailable事件无法获取数据
• 只有在手动调用requestData()后才能获取少量数据
• 最终录制的视频只有1-2秒内容

技术分析

根据项目维护者的测试和反馈，这个问题可能与以下因素有关：

1. GOP(图像组)设置问题：视频编码时如果没有设置固定的GOP间隔，可能导致MediaRecorder无法正确分割视频片段。维护者建议使用-g 60 -keyint_min 60参数确保固定GOP间隔。

2. 异步处理问题：原始代码中使用await delay(10000)可能导致时序问题，维护者建议改用setTimeout进行异步控制。

3. 编码参数优化：维护者提供的测试命令中包含了推荐的编码参数组合：

   -pix_fmt yuv420p -c:v libx264 -g 60 -keyint_min 60 -preset ultrafast -b:v 600k
   

解决方案

基于维护者的反馈，可以采取以下措施解决录制问题：

1. 调整FFmpeg编码参数：

   • 确保使用固定GOP间隔(-g和-keyint_min)
   • 使用推荐的像素格式和编码预设
   • 设置适当的比特率

2. 修改JavaScript录制代码：

   • 将await改为setTimeout确保正确的异步时序
   • 检查MediaRecorder的配置参数

3. 验证流质量：

   • 确保视频流包含完整的时间戳信息
   • 检查关键帧间隔是否符合预期

技术要点

1. GOP的重要性：在视频编码中，GOP(Group of Pictures)决定了关键帧的间隔，这对视频录制和随机访问至关重要。固定GOP间隔可以确保MediaRecorder能够正确分割视频片段。

2. WebRTC与MediaRecorder的协同：WebRTC流通常使用实时传输协议，而MediaRecorder需要处理完整的媒体片段。确保编码参数兼容两者是关键。

3. 异步编程模式：在浏览器环境中，正确处理异步操作对于媒体录制至关重要。使用setTimeout而非await可以避免潜在的时序问题。

总结

通过调整视频编码参数和改进JavaScript录制代码，可以解决RTSP-Simple-Server中WebRTC视频流录制不完整的问题。这提醒开发者在处理实时视频流时，需要特别注意编码参数的选择和前端API的正确使用方式。