SAM2视频分割中动态提示传播问题的技术解析

问题背景

在计算机视觉领域，基于提示的交互式视频分割是一个重要研究方向。Meta开源的Segment Anything Model 2(SAM2)提供了强大的视频分割能力，但在实际应用中，开发者发现了一个关于动态提示传播的技术问题。

核心问题描述

当使用SAM2进行视频对象分割时，如果在首帧标记目标对象后，系统能够自动将分割结果传播到后续帧。然而，当目标在后续帧中因遮挡等原因丢失时，用户通过add_new_points()方法添加新的提示点，这些新提示仅对当前帧有效，而不会自动传播到后续帧。这与用户期望的行为不符——期望新提示能够影响后续帧的分割结果。

技术原理分析

SAM2的视频分割基于时空记忆机制，模型会记住初始帧的提示信息并在时间维度传播。默认配置下，模型对后续添加的新提示处理较为保守，主要出于以下考虑：

1. 防止错误提示污染长期记忆
2. 避免频繁更新导致分割结果不稳定
3. 保持时间一致性优先的设计原则

解决方案

通过修改模型配置参数，可以调整SAM2对新提示的处理策略。具体方法是设置：

model.clear_non_cond_mem_around_input=true

这一配置会指示模型：

1. 更重视新添加的提示信息
2. 适当清除原有记忆缓冲区中与新提示相关的部分
3. 让新提示对后续帧产生更大影响

实现方式

在实际代码中，可以通过以下方式加载修改后的视频预测器：

predictor = build_sam2_video_predictor(
    model_cfg,
    checkpoint,
    hydra_overrides_extra=[
        "++model.sam_mask_decoder_extra_args.dynamic_multimask_via_stability=true",
    ],
)

应用建议

1. 对于需要频繁修正的场景，建议启用该配置
2. 对于追求时间一致性的场景，可保持默认配置
3. 可根据实际效果调整参数强度，平衡即时响应和长期稳定性

总结

SAM2的视频分割能力强大但需要合理配置。理解其记忆机制和提示传播原理，可以帮助开发者更好地适应不同应用场景的需求。通过灵活调整模型参数，可以在分割精度和时间一致性之间取得理想平衡。