Torchmetrics中Dice指标实现的演进与优化思考
引言
在图像分割领域,Dice系数(Dice Coefficient)是最常用的评估指标之一,用于衡量预测分割结果与真实标注之间的相似度。然而在torchmetrics这一流行的PyTorch指标库中,存在两个不同的Dice实现,这给使用者带来了困惑。本文将深入分析这一问题的背景、现有实现的差异,以及未来可能的优化方向。
Dice指标的基本原理
Dice系数,也称为Sørensen-Dice系数,是图像分割任务中最常用的评估指标之一。其计算公式为:
Dice = 2 * |X ∩ Y| / (|X| + |Y|)
其中X表示预测结果,Y表示真实标注。该指标取值范围在0到1之间,值越大表示预测结果与真实标注的重叠度越高。
Torchmetrics中的实现现状
目前torchmetrics中存在两个Dice实现:
classification.Dice:最初实现的版本segmentation.DiceScore:新引入的版本
这两个实现不仅在模块路径上不同,更重要的是在计算逻辑上存在显著差异,特别是在处理多类别分割任务时,可能导致完全不同的评估结果。
关键差异分析
最核心的差异在于如何处理分母为零的情况,这在实际分割任务中经常出现(特别是对于稀有类别)。现有实现提供了多种处理策略:
- 忽略分母为零的样本/条目(classification.Dice在macro模式下的做法)
- 忽略真实标注为空的样本(类似MONAI的实现)
- 忽略预测和真实标注均为空的样本
- 使用固定值(0.0或1.0)作为回退值(segmentation.DiceScore的做法)
- 使用NaN作为回退值,结合nanmean/nansum进行聚合
- 在样本维度上先求和再计算(确保分母不为零)
现有实现的问题
特别是使用固定回退值的策略(选项4)存在明显问题。当设置为1.0时,会高估模型性能;设置为0.0时则会低估。这导致指标结果无法真实反映预测与标注的重叠情况,尤其对于稀有类别影响更大。
优化建议
基于以上分析,建议采取以下优化措施:
- 统一Dice实现:已计划在v1.7版本中移除classification.Dice
- 改进segmentation.DiceScore的实现:
- 避免使用固定回退值
- 推荐采用"忽略预测和真实标注均为空的样本"策略
- 新增aggregation_level参数支持不同聚合级别
- 增加计算灵活性:支持样本级和全局级两种聚合方式
实现示例
核心计算逻辑可以优化为:
if aggregation_level == "global":
numerator = torch.sum(numerator, dim=0)
denominator = torch.sum(denominator, dim=0)
support = torch.sum(support, dim=0) if support is not None else None
这种实现既能避免分母为零的问题,又能提供更符合直觉的评估结果。
总结
Dice系数作为分割任务的核心评估指标,其实现的准确性和一致性至关重要。torchmetrics正在通过统一实现、优化计算逻辑来提供更可靠的评估工具。这些改进将有助于研究者和工程师更准确地评估模型性能,特别是在处理类别不平衡的数据时。
对于使用者而言,建议关注torchmetrics的版本更新,并在升级后重新评估模型指标,以确保结果的可比性。同时,在多类别分割任务中,除了关注整体指标外,还应仔细检查各类别的独立指标,以获得对模型性能更全面的认识。
AutoGLM-Phone-9BAutoGLM-Phone-9B是基于AutoGLM构建的移动智能助手框架,依托多模态感知理解手机屏幕并执行自动化操作。Jinja00
Kimi-K2-ThinkingKimi K2 Thinking 是最新、性能最强的开源思维模型。从 Kimi K2 开始,我们将其打造为能够逐步推理并动态调用工具的思维智能体。通过显著提升多步推理深度,并在 200–300 次连续调用中保持稳定的工具使用能力,它在 Humanity's Last Exam (HLE)、BrowseComp 等基准测试中树立了新的技术标杆。同时,K2 Thinking 是原生 INT4 量化模型,具备 256k 上下文窗口,实现了推理延迟和 GPU 内存占用的无损降低。Python00
GLM-4.6V-FP8GLM-4.6V-FP8是GLM-V系列开源模型,支持128K上下文窗口,融合原生多模态函数调用能力,实现从视觉感知到执行的闭环。具备文档理解、图文生成、前端重构等功能,适用于云集群与本地部署,在同类参数规模中视觉理解性能领先。Jinja00
HunyuanOCRHunyuanOCR 是基于混元原生多模态架构打造的领先端到端 OCR 专家级视觉语言模型。它采用仅 10 亿参数的轻量化设计,在业界多项基准测试中取得了当前最佳性能。该模型不仅精通复杂多语言文档解析,还在文本检测与识别、开放域信息抽取、视频字幕提取及图片翻译等实际应用场景中表现卓越。00
GLM-ASR-Nano-2512GLM-ASR-Nano-2512 是一款稳健的开源语音识别模型,参数规模为 15 亿。该模型专为应对真实场景的复杂性而设计,在保持紧凑体量的同时,多项基准测试表现优于 OpenAI Whisper V3。Python00
GLM-TTSGLM-TTS 是一款基于大语言模型的高质量文本转语音(TTS)合成系统,支持零样本语音克隆和流式推理。该系统采用两阶段架构,结合了用于语音 token 生成的大语言模型(LLM)和用于波形合成的流匹配(Flow Matching)模型。 通过引入多奖励强化学习框架,GLM-TTS 显著提升了合成语音的表现力,相比传统 TTS 系统实现了更自然的情感控制。Python00
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00