Label Studio视频标注中的帧同步问题分析与解决方案

在视频标注工具Label Studio的使用过程中，开发团队发现了一个影响标注准确性的关键问题：视频播放暂停时，显示的帧画面与当前帧编号不同步。这个问题会导致标注人员在错误的位置绘制边界框，严重影响标注质量。

问题现象

当用户使用Label Studio进行视频目标跟踪标注时，系统会为视频帧分配1-based的索引编号。在界面左下角显示当前帧号，中央区域则显示对应的视频帧画面和标注信息。

在逐帧浏览带有插值边界框的标注视频时，帧号、视频画面和边界框标注能够保持同步。然而，当视频在播放过程中被暂停时，有时会出现以下异常情况：

• 显示的视频画面与实际暂停的帧号不匹配
• 显示的边界框标注与画面内容不一致
• 通过前进或后退一帧操作后，画面和标注会重新同步

技术原因分析

经过深入调查，发现该问题源于浏览器视频播放API的处理机制：

1. 帧索引计算问题：虽然之前通过PR #7027修复了因索引计算不准确导致的类似问题，但该修复仅针对主动跳转(seeking)操作，没有覆盖播放暂停场景。

2. 浏览器时间精度限制：浏览器在处理视频currentTime时存在固有精度限制。当暂停操作触发时，系统请求的时间点可能被浏览器内部调整为最近的可用帧，导致显示画面与预期帧号出现偏差。

3. 事件处理差异：播放暂停事件与主动跳转事件采用了不同的处理逻辑，缺乏统一的时间点修正机制。

解决方案

开发团队采用了以下方法解决该问题：

1. 统一时间处理机制：将PR #7027中验证有效的时间点修正逻辑扩展到播放暂停事件处理中，确保所有视频操作都经过相同的时间精度处理。

2. 浏览器兼容性处理：实现自适应的时间点修正算法，根据浏览器特性动态调整请求的时间精度，确保获取准确的视频帧。

3. 状态同步验证：在每次画面更新后，增加帧号与画面内容的验证逻辑，发现不同步时自动进行修正。

影响与改进

该修复已合并到主分支，并计划包含在Label Studio的下一个正式版本中。这一改进将显著提升视频标注的准确性和用户体验：

1. 标注准确性提升：消除因画面不同步导致的错误标注，提高数据集质量。

2. 工作效率提高：减少标注人员因显示问题而进行的重复检查和修正工作。

3. 技术架构优化：建立了统一的视频时间处理机制，为后续功能开发奠定基础。

对于依赖视频标注的研究人员和开发团队，建议关注Label Studio的版本更新，及时升级以获得更稳定的标注体验。同时，在关键标注任务中，仍建议进行抽样检查，确保标注结果符合预期。