DeepLabCut在MacOS MPS设备上的训练与预测问题解析

问题背景

在使用DeepLabCut 3.0.0rc6版本进行鸟类行为分析时，用户遇到了一个典型的技术问题：模型训练过程中损失函数值极低（训练损失0.0000，验证损失0.0002），但实际预测效果却非常差，视频分析时无法显示任何标签和骨架，且关键点预测结果大多集中在图像左上角。这种现象在MacOS Sonoma 14.3系统上使用CPU(MPS)设备时尤为明显。

问题根源分析

经过深入的技术排查，发现该问题主要源于PyTorch在MacOS MPS设备上的一个底层bug。具体表现为：

1. 数据复制不完整：当从MPS张量复制数据到CPU张量时，PyTorch仅复制了部分数据，导致部分关键点预测值被错误地置为0。

2. 指标与损失函数不一致：虽然训练损失显示极低值（表明模型"理论上"训练得很好），但实际评估指标（如RMSE）却非常高，显示出模型预测效果极差。

3. 设备兼容性问题：这一问题在MacOS系统上使用MPS设备时特别容易出现，而在其他操作系统或设备上可能不会发生。

解决方案

针对这一问题，我们提供了以下解决方案：

1. 强制使用CPU设备

在项目的pytorch_config.yaml配置文件中，将设备设置从默认的auto或mps改为cpu：

device: cpu

这一修改可以绕过MPS设备的bug，确保数据完整传输。

2. 升级DeepLabCut版本

通过以下命令升级到修复了相关问题的版本：

pip uninstall deeplabcut
pip install "git+https://github.com/DeepLabCut/DeepLabCut.git@pytorch_dlc"

3. 标签检查与修正

使用DeepLabCut内置的check_labels功能检查标注数据，确保：

• 所有关键点标注位置准确
• 左右标记正确无误
• 不可见关键点未被错误标注

4. 模型重新训练

在修正配置和标签后，建议重新训练模型以获得最佳效果。

技术验证与结果

实施上述解决方案后，模型性能得到显著改善：

• RMSE从262.06降至2.53（训练集）和3.92（测试集）
• mAP从7.74提升至95.09（训练集）和87.66（测试集）
• 视频分析结果能够正确显示所有标签和骨架
• 预测轨迹图显示关键点分布合理，不再集中于左上角

最佳实践建议

1. 跨平台开发：在MacOS系统上开发时，建议优先使用CPU设备而非MPS。

2. 版本管理：保持DeepLabCut版本更新，及时获取bug修复。

3. 数据标注：定期使用check_labels验证标注质量，特别是对于部分可见的关键点。

4. 性能监控：不仅要关注损失函数值，还要重视实际评估指标如RMSE和mAP。

5. 模型验证：训练完成后，通过evaluate_network和extract_save_all_maps全面评估模型性能。

结论

DeepLabCut作为强大的行为分析工具，在不同平台上可能遇到特定的技术挑战。通过理解底层原理、合理配置参数和遵循最佳实践，可以有效解决这类设备兼容性问题，获得准确可靠的分析结果。对于MacOS用户，特别建议关注MPS设备相关的问题，并在遇到类似现象时优先考虑设备配置的调整。