NV-Reason-CT首发解读:NVIDIA如何造出会读CT、会推理的4B参数3D视觉语言模型

原创2026-10-18 17:55:061,670 阅读

NV-Reason-CT首发解读:NVIDIA如何造出会读CT、会推理的4B参数3D视觉语言模型

NV-Reason-CT 是 NVIDIA 开源的 3D 视觉语言模型(VLM),专为 CT 影像分析设计:它能直接"读懂"胸部和腹部 CT 三维容积,生成结构化放射报告、回答医学问题,并输出可审查的多步推理过程。相比只处理 2D 切片的常见方案,它让 4B 参数级别的模型具备了原生三维空间理解能力,是医疗影像大模型领域的标志性首发之作。

一分钟看懂 NV-Reason-CT 是什么

一句话概括:它把整个 CT 扫描当作一张"3D 图片"喂给语言模型。

传统视觉语言系统要么只能处理 2D 图像,要么把三维特征压缩后才送入语言模型,空间信息在解码前就已丢失。NV-Reason-CT 采用原生 3D 视觉编码器(3D ViT),将 384×384×384 mm 的输入容积转换为 24×24×24 网格、共 13,824 个视觉 token,并连同其 3D 坐标一起完整传给语言模型——全程不做空间降采样,再用 3D MRoPE 位置编码在 LLM 内部保留空间关系。

关键规格 说明
语言骨干 Qwen3.5-4B(base_model,微调而来)
视觉骨干 原生 3D ViT(Primus 架构,COLIPRI 初始化)
参数规模 总计 4.69B,CT 通路有效参数 4.35B
输入格式 NIfTI 三维容积(.nii / .nii.gz)+ 自然语言
核心任务 报告生成、医学问答、多步推理
许可协议 OpenMDW-1.1

📌 完整介绍见 README.md,架构配置细节可查看 config.json。

核心架构:3D ViT + Qwen3.5-4B 如何协同

模型的整体结构在 model.py 中实现,核心类为 Vision3D(3D 视觉编码器 + 特征投影)与 VLM3D_ForConditionalGeneration(多模态条件生成)。整个推理链路可以分为四步:

  1. 自动裁剪:输入容积先按解剖部位裁剪——胸部(chest)或腹部(abdomen),裁剪逻辑基于肺组织 HU 值 + 三维形态学启发式,实现见 processor.py 中的 AnatomySpatialCropd;
  2. 统一重采样:所有数据重采样为 2 mm 各向同性分辨率,裁剪到 192×192×192;
  3. 3D 特征提取:Primus 3D ViT 以 8×8×8 patch 切块编码,得到 24×24×24 视觉 token 网格;
  4. 语言解码:所有 token 及其 3D 位置信息通过 3D MRoPE 送入 Qwen3.5-4B,生成"先推理、后结论"的结构化输出,可通过 enable_thinking=False 关闭思考模式。

这种"不压缩、不降采样"的设计,正是它在空间定位类问题上表现突出的关键。

数据流水线:2 mm 重采样与解剖感知裁剪

预处理管道由 MONAI 构建,流程完全确定性(见 processor.py 的 ImageLoader3D):

  • LPS 方向重定向 → 保证 z 轴朝上,便于肺边界检测
  • 2 mm 各向同性重采样(Spacingd)
  • HU 值归一化:默认将 Hounsfield Unit 截断到 [-1000, 1000] 并缩放到 [-1, 1]
  • 解剖感知裁剪:自动识别肺部包裹气腔,定位胸/腹边界;若启发式失效会自动回退为顶部居中裁剪(可设 anatomy_region=None 使用手动裁剪 + 居中策略)

3D 加载器的具体参数定义在 image_processor_3d/preprocessor_config.json 中。

训练配方:55万条QA + SFT/GRPO 两阶段

NV-Reason-CT 采用**监督微调(SFT)+ 组相对策略优化(GRPO)**端到端训练:

  • 📊 约 550,000 条结构化 QA 样本,来自 70,111 个去重 CT 容积
  • 数据来源:CT-RATE(公开)、CancerVerse(公开)及 NIH 内部数据集,全部去标识化
  • 语料包含:标准化报告、异常聚焦 QA、多轮对话、放射科医师录制的真实解读推理
  • GRPO 阶段使用胸/腹异常集合的可验证奖励来强化判断准确性

这一"专家标注 + 报告锚定合成推理数据"的混合策略,让模型的输出既有报告依据,又具备可读的推理链。

基准表现:CT-RATE 上全面领先

在 CT-RATE 分类基准(18 类标签)上,NV-Reason-CT 仅用直接 Yes/No 提示词评估,无分类头、无任务适配:

模型 类型 Macro-F1 Macro-AUROC
NV-Reason-CT 原生 3D 生成式 VLM 0.614 0.871
VoxelFM 3D 纯图像预训练 0.581 0.870
Pillar-0 3D 对比学习 0.544 0.861
ClinFusion-8B 2D/3D 融合 MLLM 0.442 n/r
CT-CLIP 3D 对比学习 0.398 0.733
Merlin 3D 对比学习 0.358 0.662
MedGemma 1.5 最多 85 张轴位切片 0.303 n/r

值得注意的是,MedGemma 1.5 单次仅看 85 张轴位切片,而 NV-Reason-CT 消费的是完整三维容积——数据量级不同,却以 4B 参数规模取得最高分。

快速上手:如何本地跑通 NV-Reason-CT

环境要求:Python 3.11+、CUDA 版 PyTorch;测试硬件为 H100 / L40S,兼容 NVIDIA Ampere、Hopper、Lovelace 架构,系统限 Linux。

依赖清单见 requirements.txt(transformers==5.6.2、monai>=1.5.1、nibabel、dynamic-network-architectures 等)。

# 1. 安装依赖
pip install -r requirements.txt

# 2. 克隆仓库获取权重(可选)
git clone https://gitcode.com/hf_mirrors/nvidia/NV-Reason-CT

核心用法只有三步:加载模型 → 加载 processor → 传入 .nii.gz 路径提问:

model = AutoModelForImageTextToText.from_pretrained(
    "nvidia/NV-Reason-CT",
    trust_remote_code=True,
    dtype=torch.bfloat16,
    attn_implementation="sdpa",
).eval().to("cuda")

processor = AutoProcessor.from_pretrained("nvidia/NV-Reason-CT", trust_remote_code=True)

# 生成胸部结构化报告
print(generate_response(ct_path, "Write a structured chest CT report.", anatomy_region="chest"))

常用提示词示例:

  • 腹部报告:"Write a structured abdominal CT report." + anatomy_region="abdomen"
  • 完整推理分析:"Provide a full reasoning analysis of this chest CT."
  • 二元判断:"Is a pleural effusion present in this CT?"
  • 只要 Yes/No:提示词末尾加 Answer only Yes or No. 并设 enable_thinking=False

完整可运行示例见 README.md 的 Quick Start 章节;对话模板在 chat_template.jinja,分词器配置见 tokenizer_config.json。

许可与使用边界:OpenMDW-1.1 要注意什么

  • 模型采用 LICENSE 约定的 OpenMDW-1.1 许可,部署地域为全球
  • 定位人群:放射科医师、医学生与医学研究人员,用于研究、教育与可审查的 AI 推理分析
  • ⚠️ 仅用于研究和教育目的,不可用于临床诊断或治疗决策;所有输出应由合格医学专业人员复核
  • 使用方须自行确保输入 CT 已正确去标识化,并遵守相应隐私要求

总结:为什么 NV-Reason-CT 值得重点关注

亮点 价值
原生 3D 通路 13,824 个视觉 token 全程无降采样,空间信息零损失
解剖感知流水线 胸/腹自动裁剪 + 2 mm 统一重采样,开箱即用
专家级推理 SFT + GRPO 双阶段训练,输出可审查的分步推理
轻量可落地 4.35B 有效参数,H100/L40S 即可推理

如果你在做医学影像 AI、多模态大模型或放射辅助工具,NV-Reason-CT 是当前少有的"真·三维 + 可推理"开源基线。建议从 README.md 的 Quick Start 入手,用一份公开的胸部 CT 快速验证报告生成效果,再结合 model.py 与 processor.py 深入理解其 3D 编码与裁剪实现。

登录后查看全文
NV-Reason-CT