NV-Reason-CT首发解读:NVIDIA如何造出会读CT、会推理的4B参数3D视觉语言模型
NV-Reason-CT首发解读:NVIDIA如何造出会读CT、会推理的4B参数3D视觉语言模型
NV-Reason-CT 是 NVIDIA 开源的 3D 视觉语言模型(VLM),专为 CT 影像分析设计:它能直接"读懂"胸部和腹部 CT 三维容积,生成结构化放射报告、回答医学问题,并输出可审查的多步推理过程。相比只处理 2D 切片的常见方案,它让 4B 参数级别的模型具备了原生三维空间理解能力,是医疗影像大模型领域的标志性首发之作。
一分钟看懂 NV-Reason-CT 是什么
一句话概括:它把整个 CT 扫描当作一张"3D 图片"喂给语言模型。
传统视觉语言系统要么只能处理 2D 图像,要么把三维特征压缩后才送入语言模型,空间信息在解码前就已丢失。NV-Reason-CT 采用原生 3D 视觉编码器(3D ViT),将 384×384×384 mm 的输入容积转换为 24×24×24 网格、共 13,824 个视觉 token,并连同其 3D 坐标一起完整传给语言模型——全程不做空间降采样,再用 3D MRoPE 位置编码在 LLM 内部保留空间关系。
| 关键规格 | 说明 |
|---|---|
| 语言骨干 | Qwen3.5-4B(base_model,微调而来) |
| 视觉骨干 | 原生 3D ViT(Primus 架构,COLIPRI 初始化) |
| 参数规模 | 总计 4.69B,CT 通路有效参数 4.35B |
| 输入格式 | NIfTI 三维容积(.nii / .nii.gz)+ 自然语言 |
| 核心任务 | 报告生成、医学问答、多步推理 |
| 许可协议 | OpenMDW-1.1 |
📌 完整介绍见 README.md,架构配置细节可查看 config.json。
核心架构:3D ViT + Qwen3.5-4B 如何协同
模型的整体结构在 model.py 中实现,核心类为 Vision3D(3D 视觉编码器 + 特征投影)与 VLM3D_ForConditionalGeneration(多模态条件生成)。整个推理链路可以分为四步:
- 自动裁剪:输入容积先按解剖部位裁剪——胸部(
chest)或腹部(abdomen),裁剪逻辑基于肺组织 HU 值 + 三维形态学启发式,实现见 processor.py 中的AnatomySpatialCropd; - 统一重采样:所有数据重采样为 2 mm 各向同性分辨率,裁剪到 192×192×192;
- 3D 特征提取:Primus 3D ViT 以 8×8×8 patch 切块编码,得到 24×24×24 视觉 token 网格;
- 语言解码:所有 token 及其 3D 位置信息通过 3D MRoPE 送入 Qwen3.5-4B,生成"先推理、后结论"的结构化输出,可通过
enable_thinking=False关闭思考模式。
这种"不压缩、不降采样"的设计,正是它在空间定位类问题上表现突出的关键。
数据流水线:2 mm 重采样与解剖感知裁剪
预处理管道由 MONAI 构建,流程完全确定性(见 processor.py 的 ImageLoader3D):
- LPS 方向重定向 → 保证 z 轴朝上,便于肺边界检测
- 2 mm 各向同性重采样(
Spacingd) - HU 值归一化:默认将 Hounsfield Unit 截断到 [-1000, 1000] 并缩放到 [-1, 1]
- 解剖感知裁剪:自动识别肺部包裹气腔,定位胸/腹边界;若启发式失效会自动回退为顶部居中裁剪(可设
anatomy_region=None使用手动裁剪 + 居中策略)
3D 加载器的具体参数定义在 image_processor_3d/preprocessor_config.json 中。
训练配方:55万条QA + SFT/GRPO 两阶段
NV-Reason-CT 采用**监督微调(SFT)+ 组相对策略优化(GRPO)**端到端训练:
- 📊 约 550,000 条结构化 QA 样本,来自 70,111 个去重 CT 容积
- 数据来源:CT-RATE(公开)、CancerVerse(公开)及 NIH 内部数据集,全部去标识化
- 语料包含:标准化报告、异常聚焦 QA、多轮对话、放射科医师录制的真实解读推理
- GRPO 阶段使用胸/腹异常集合的可验证奖励来强化判断准确性
这一"专家标注 + 报告锚定合成推理数据"的混合策略,让模型的输出既有报告依据,又具备可读的推理链。
基准表现:CT-RATE 上全面领先
在 CT-RATE 分类基准(18 类标签)上,NV-Reason-CT 仅用直接 Yes/No 提示词评估,无分类头、无任务适配:
| 模型 | 类型 | Macro-F1 | Macro-AUROC |
|---|---|---|---|
| NV-Reason-CT | 原生 3D 生成式 VLM | 0.614 | 0.871 |
| VoxelFM | 3D 纯图像预训练 | 0.581 | 0.870 |
| Pillar-0 | 3D 对比学习 | 0.544 | 0.861 |
| ClinFusion-8B | 2D/3D 融合 MLLM | 0.442 | n/r |
| CT-CLIP | 3D 对比学习 | 0.398 | 0.733 |
| Merlin | 3D 对比学习 | 0.358 | 0.662 |
| MedGemma 1.5 | 最多 85 张轴位切片 | 0.303 | n/r |
值得注意的是,MedGemma 1.5 单次仅看 85 张轴位切片,而 NV-Reason-CT 消费的是完整三维容积——数据量级不同,却以 4B 参数规模取得最高分。
快速上手:如何本地跑通 NV-Reason-CT
环境要求:Python 3.11+、CUDA 版 PyTorch;测试硬件为 H100 / L40S,兼容 NVIDIA Ampere、Hopper、Lovelace 架构,系统限 Linux。
依赖清单见 requirements.txt(transformers==5.6.2、monai>=1.5.1、nibabel、dynamic-network-architectures 等)。
# 1. 安装依赖
pip install -r requirements.txt
# 2. 克隆仓库获取权重(可选)
git clone https://gitcode.com/hf_mirrors/nvidia/NV-Reason-CT
核心用法只有三步:加载模型 → 加载 processor → 传入 .nii.gz 路径提问:
model = AutoModelForImageTextToText.from_pretrained(
"nvidia/NV-Reason-CT",
trust_remote_code=True,
dtype=torch.bfloat16,
attn_implementation="sdpa",
).eval().to("cuda")
processor = AutoProcessor.from_pretrained("nvidia/NV-Reason-CT", trust_remote_code=True)
# 生成胸部结构化报告
print(generate_response(ct_path, "Write a structured chest CT report.", anatomy_region="chest"))
常用提示词示例:
- 腹部报告:
"Write a structured abdominal CT report."+anatomy_region="abdomen" - 完整推理分析:
"Provide a full reasoning analysis of this chest CT." - 二元判断:
"Is a pleural effusion present in this CT?" - 只要 Yes/No:提示词末尾加
Answer only Yes or No.并设enable_thinking=False
完整可运行示例见 README.md 的 Quick Start 章节;对话模板在 chat_template.jinja,分词器配置见 tokenizer_config.json。
许可与使用边界:OpenMDW-1.1 要注意什么
- 模型采用 LICENSE 约定的 OpenMDW-1.1 许可,部署地域为全球
- 定位人群:放射科医师、医学生与医学研究人员,用于研究、教育与可审查的 AI 推理分析
- ⚠️ 仅用于研究和教育目的,不可用于临床诊断或治疗决策;所有输出应由合格医学专业人员复核
- 使用方须自行确保输入 CT 已正确去标识化,并遵守相应隐私要求
总结:为什么 NV-Reason-CT 值得重点关注
| 亮点 | 价值 |
|---|---|
| 原生 3D 通路 | 13,824 个视觉 token 全程无降采样,空间信息零损失 |
| 解剖感知流水线 | 胸/腹自动裁剪 + 2 mm 统一重采样,开箱即用 |
| 专家级推理 | SFT + GRPO 双阶段训练,输出可审查的分步推理 |
| 轻量可落地 | 4.35B 有效参数,H100/L40S 即可推理 |
如果你在做医学影像 AI、多模态大模型或放射辅助工具,NV-Reason-CT 是当前少有的"真·三维 + 可推理"开源基线。建议从 README.md 的 Quick Start 入手,用一份公开的胸部 CT 快速验证报告生成效果,再结合 model.py 与 processor.py 深入理解其 3D 编码与裁剪实现。