RTSP-Simple-Server中AMD硬件AV1编码器与HLS兼容性问题分析

问题背景

在RTSP-Simple-Server项目中，用户报告了一个关于AMD硬件AV1编码器与HLS流媒体协议兼容性的问题。当使用AMD硬件加速的AV1编码器发布RTMP或WHEP流时，HLS流无法正常工作，而切换到CPU基础的SVT-AV1编码器或NVIDIA的NVENC编码器时则表现正常。

技术现象

系统日志显示的错误信息为："muxer error: unable to parse AV1 sequence header: timing_info_present_flag is not supported yet"。这表明HLS复用器在解析AV1序列头时遇到了问题，特别是与时间信息相关的标志位不被支持。

问题诊断

通过分析用户提供的网络抓包数据，开发团队确认了以下技术细节：

1. AMD硬件AV1编码器生成的流媒体数据包中包含了特殊的时序信息标志
2. 现有的HLS复用器实现未能正确处理这些特殊标志
3. 该问题仅出现在AMD硬件AV1编码器，其他编码器如SVT-AV1和NVENC工作正常

解决方案

开发团队在mediacommon库中实施了修复方案，主要解决了以下技术点：

1. 增强AV1序列头解析能力，支持处理timing_info_present_flag标志
2. 改进HLS复用器对AV1编码流的兼容性处理
3. 确保不同硬件编码器生成的AV1流都能被正确解析

后续发现

在修复后测试中，用户发现了音频编解码器相关的新问题：

1. 使用AV1编码时，HLS流中缺少音频编解码器信息
2. 该问题同时出现在WHIP协议中使用Opus编码的情况
3. 问题在SVT-AV1编码器下同样存在，而H.264/H.265编码则工作正常

技术建议

对于使用RTSP-Simple-Server和AV1编码的用户，建议：

1. 使用最新版本以获取AMD硬件AV1编码器的兼容性修复

2. 对于音频编解码器问题，暂时可考虑以下解决方案：

   • 使用H.264/H.265编码作为临时替代方案
   • 检查音频编码配置，确保与视频编码兼容
   • 关注项目更新以获取音频问题的修复

3. 在生产环境中部署前，应进行全面测试，特别是跨不同硬件平台的兼容性测试

总结

AV1作为新一代视频编码标准，其在不同硬件平台上的实现存在差异。RTSP-Simple-Server项目团队正在积极解决这些兼容性问题，为用户提供更完善的流媒体服务支持。用户应保持对项目更新的关注，并及时应用相关修复。