Torchmetrics中Dice指标实现的演进与优化思考
引言
在图像分割领域,Dice系数(Dice Coefficient)是最常用的评估指标之一,用于衡量预测分割结果与真实标注之间的相似度。然而在torchmetrics这一流行的PyTorch指标库中,存在两个不同的Dice实现,这给使用者带来了困惑。本文将深入分析这一问题的背景、现有实现的差异,以及未来可能的优化方向。
Dice指标的基本原理
Dice系数,也称为Sørensen-Dice系数,是图像分割任务中最常用的评估指标之一。其计算公式为:
Dice = 2 * |X ∩ Y| / (|X| + |Y|)
其中X表示预测结果,Y表示真实标注。该指标取值范围在0到1之间,值越大表示预测结果与真实标注的重叠度越高。
Torchmetrics中的实现现状
目前torchmetrics中存在两个Dice实现:
classification.Dice:最初实现的版本segmentation.DiceScore:新引入的版本
这两个实现不仅在模块路径上不同,更重要的是在计算逻辑上存在显著差异,特别是在处理多类别分割任务时,可能导致完全不同的评估结果。
关键差异分析
最核心的差异在于如何处理分母为零的情况,这在实际分割任务中经常出现(特别是对于稀有类别)。现有实现提供了多种处理策略:
- 忽略分母为零的样本/条目(classification.Dice在macro模式下的做法)
- 忽略真实标注为空的样本(类似MONAI的实现)
- 忽略预测和真实标注均为空的样本
- 使用固定值(0.0或1.0)作为回退值(segmentation.DiceScore的做法)
- 使用NaN作为回退值,结合nanmean/nansum进行聚合
- 在样本维度上先求和再计算(确保分母不为零)
现有实现的问题
特别是使用固定回退值的策略(选项4)存在明显问题。当设置为1.0时,会高估模型性能;设置为0.0时则会低估。这导致指标结果无法真实反映预测与标注的重叠情况,尤其对于稀有类别影响更大。
优化建议
基于以上分析,建议采取以下优化措施:
- 统一Dice实现:已计划在v1.7版本中移除classification.Dice
- 改进segmentation.DiceScore的实现:
- 避免使用固定回退值
- 推荐采用"忽略预测和真实标注均为空的样本"策略
- 新增aggregation_level参数支持不同聚合级别
- 增加计算灵活性:支持样本级和全局级两种聚合方式
实现示例
核心计算逻辑可以优化为:
if aggregation_level == "global":
numerator = torch.sum(numerator, dim=0)
denominator = torch.sum(denominator, dim=0)
support = torch.sum(support, dim=0) if support is not None else None
这种实现既能避免分母为零的问题,又能提供更符合直觉的评估结果。
总结
Dice系数作为分割任务的核心评估指标,其实现的准确性和一致性至关重要。torchmetrics正在通过统一实现、优化计算逻辑来提供更可靠的评估工具。这些改进将有助于研究者和工程师更准确地评估模型性能,特别是在处理类别不平衡的数据时。
对于使用者而言,建议关注torchmetrics的版本更新,并在升级后重新评估模型指标,以确保结果的可比性。同时,在多类别分割任务中,除了关注整体指标外,还应仔细检查各类别的独立指标,以获得对模型性能更全面的认识。
ERNIE-4.5-VL-28B-A3B-ThinkingERNIE-4.5-VL-28B-A3B-Thinking 是 ERNIE-4.5-VL-28B-A3B 架构的重大升级,通过中期大规模视觉-语言推理数据训练,显著提升了模型的表征能力和模态对齐,实现了多模态推理能力的突破性飞跃Python00
Kimi-K2-ThinkingKimi K2 Thinking 是最新、性能最强的开源思维模型。从 Kimi K2 开始,我们将其打造为能够逐步推理并动态调用工具的思维智能体。通过显著提升多步推理深度,并在 200–300 次连续调用中保持稳定的工具使用能力,它在 Humanity's Last Exam (HLE)、BrowseComp 等基准测试中树立了新的技术标杆。同时,K2 Thinking 是原生 INT4 量化模型,具备 256k 上下文窗口,实现了推理延迟和 GPU 内存占用的无损降低。Python00
MiniMax-M2MiniMax-M2是MiniMaxAI开源的高效MoE模型,2300亿总参数中仅激活100亿,却在编码和智能体任务上表现卓越。它支持多文件编辑、终端操作和复杂工具链调用Python00
HunyuanVideo-1.5暂无简介00
MiniCPM-V-4_5MiniCPM-V 4.5 是 MiniCPM-V 系列中最新且功能最强的模型。该模型基于 Qwen3-8B 和 SigLIP2-400M 构建,总参数量为 80 亿。与之前的 MiniCPM-V 和 MiniCPM-o 模型相比,它在性能上有显著提升,并引入了新的实用功能Python00
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00