一文读懂Hulu-Med:统一医学文本、2D/3D影像与视频的开源视觉语言模型全景解析

原创2026-10-15 16:56:501,966 阅读

一文读懂Hulu-Med:统一医学文本、2D/3D影像与视频的开源视觉语言模型全景解析

Hulu-Med 是由 ZJU AI4H 团队推出的完全开源的医学视觉语言模型(Medical VLM),用一个模型统一理解医学文本、2D 医学影像、3D 体数据(CT/MRI)与医学视频四类模态——既能像医生一样回答临床问题、解读胸片并生成报告,也能看懂 3D CT 断层与手术视频。它在 30 个医学基准上刷新开源 SOTA,训练完全基于公开数据(1670 万样本),数据管线、训练代码与模型权重全部开放(Apache 2.0 许可),是新手入门医学多模态大模型的理想选择。

📌 一图看懂 Hulu-Med 全景架构

Hulu-Med 医学视觉语言模型全景概览:统一医学文本、2D图像、3D体数据与医学视频的理解,覆盖14种影像模态与12大解剖系统

如上图所示,Hulu-Med 的设计围绕"Holistic Understanding(整体理解)"展开:

  • 上方:四类统一输入——医学文本、2D 图像、3D 体数据、医学视频;
  • 左侧:覆盖 14 种影像模态(CT、MRI、X 光、超声、内镜、病理、眼底、OCT 等);
  • 下方:覆盖 12 大解剖系统(呼吸、心血管、消化、神经、骨骼肌肉……)的训练数据分布;
  • 右侧:面向真实临床的下游任务——医疗对话、异常检测、预后预测、报告生成、手术阶段识别等。

🚀 为什么选 Hulu-Med:5 大核心优势

优势 说明
🌐 全模态统一 文本/2D/3D/视频一套模型搞定,3D 与视频被建模为"沿空间/时间维度的图像扩展",无需额外模型
🔓 完全透明 数据清洗、训练代码、模型权重全开源,可复现、可审计
📊 性能强劲 7B 小模型在多项基准上已超越 GPT-4.1 等闭源旗舰
⚡ 训练高效 7B–32B 版本仅需 4,000–40,000 GPU 小时
🤗 集成简单 原生支持 HuggingFace Transformers,兼容 vLLM 加速推理

从官方多模态基准对比可见(节选自 README.md):

模型 OmniMedVQA PMC-VQA VQA-RAD SLAKE MMMU-Med
GPT-4.1 75.5 55.2 65.0 72.2 75.2
MedGemma-4B 70.7 49.2 72.3 78.2 43.2
Lingshu-7B 82.9 56.3 67.9 83.1 –
Hulu-Med-7B 84.2 66.8 78.0 86.8 51.4
Hulu-Med-235A22 84.8 70.5 83.1 88.7 72.4

📦 模型家族:按需选择参数规模

模型 参数 LLM 底座 训练成本
Hulu-Med-4B 4B Qwen3-VL-4B ~1,000 GPU 小时
Hulu-Med-7B 7B Qwen2.5-7B ~4,000 GPU 小时
Hulu-Med-14B 14B Qwen3-14B ~8,000 GPU 小时
Hulu-Med-30A3 30B Qwen3-VL-30A3B ~3,200 GPU 小时
Hulu-Med-32B 32B Qwen2.5-32B ~40,000 GPU 小时
Hulu-Med-235A22 235B Qwen3-VL-235A22B ~10,000 GPU 小时

💡 选型建议:个人开发/端侧实验选 4B/7B;科研复现选 14B/30A3(MoE 架构推理更快);追求极限性能选 235A22。另外,2026 年 4 月新发布的 Hulu-Med-Flash-Preview-27B 采用更短的思维链推理,在 HealthBench 上取得 64.5 分,适合追求吞吐的场景。

🏗️ 原理解析:模型架构的 4 个核心组件

Hulu-Med 沿用"视觉编码器 + 投影器 + 大语言模型"的经典多模态范式,但在医疗场景做了关键优化:

  1. 👁️ 视觉编码器:基于 SigLIP,引入 2D RoPE 旋转位置编码,让 2D 图像、3D 切片、视频帧共享同一条编码路径——这是"一套代码处理所有模态"的关键,实现见 src/hulumed/model/encoder.py;
  2. 🔗 多模态投影器:把视觉特征映射进语言模型的隐藏空间,支持线性/MLP 等结构,见 src/hulumed/model/projector.py;
  3. 🧠 LLM 解码器:基于 Qwen 系列,负责生成回答与报告,核心模型定义在 src/hulumed/model/hulumed_qwen2.py;
  4. ✂️ 医学感知 Token 压缩:通过空间下采样 + 医学先验,将视觉 token 压缩约 55%,大幅降低 3D/长视频的显存与推理成本,核心逻辑在 src/hulumed/model/hulumed_arch.py 的 spatial_downsampling。

输入 Hulu-Med 的胸部 X 光片:最常见的 2D 医学影像问答与报告生成输入示例

上图这样一张胸片,只需输入一句"Generate a medical report for this image",Hulu-Med 就能输出包含 findings(所见)与 impressions(印象)的结构化报告——这正是 2D 影像理解最典型的应用场景。

🚀 Hulu-Med 快速上手:5 分钟完成安装与首次推理

一键安装环境

git clone https://gitcode.com/gh_mirrors/hu/Hulu-Med
cd Hulu-Med

conda create -n hulumed python=3.10 -y
conda activate hulumed
pip install torch==2.4.0 torchvision==0.19.0 --extra-index-url https://download.pytorch.org/whl/cu118
pip install transformers==4.51.2 accelerate==1.7.0
pip install decord ffmpeg-python imageio opencv-python nibabel
pip install -r requirements.txt

nibabel 用于 3D NIfTI 文件(CT/MRI),decord/opencv 用于视频解析。完整依赖见 requirements.txt。

推荐方式:HuggingFace Transformers 加载

from transformers import AutoModelForCausalLM, AutoProcessor

model_path = "ZJU-AI4H/Hulu-Med-7B"
model = AutoModelForCausalLM.from_pretrained(
    model_path, trust_remote_code=True,
    torch_dtype="bfloat16", device_map="auto")
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)

用统一对话格式输入任意模态

文本、2D 图像、3D 体数据、视频可自由组合在同一段对话中(图文交错也支持):

conversation = [{
    "role": "user",
    "content": [
        {"type": "image", "image": {"image_path": "./demo/demo.jpg"}},
        {"type": "text", "text": "Generate a medical report for this image."}
    ]
}]
# 3D 体数据(CT/MRI 的 NIfTI):指定切片数与轴,0=矢状 1=冠状 2=轴位
# {"type": "3d", "3d": {"image_path": "amos_0013.nii",
#                      "nii_num_slices": 180, "nii_axis": 2}}
# 医学视频:指定采样帧率与最大帧数
# {"type": "video", "video": {"video_path": "1min_demo.mp4",
#                             "fps": 1, "max_frames": 1800}}

inputs = processor(conversation=conversation, add_system_prompt=True,
                   add_generation_prompt=True, return_tensors="pt")
out_ids = model.generate(**{k: v.cuda() for k, v in inputs.items()},
                        max_new_tokens=1024)
print(processor.batch_decode(out_ids, skip_special_tokens=True,
                             use_think=False)[0])

💡 use_think 参数:False 只返回最终答案;True 会同时输出模型的逐步推理(思维链)过程,方便排查诊断逻辑。完整示例可运行 Inference.ipynb、Inference_qwen3.ipynb,原始加载方式参考 src/hulumed/model/processor.py 与 src/hulumed/mm_utils.py 中的图像/视频加载工具。

追求更高吞吐?接入 vLLM

Hulu-Med 已兼容最新版 vLLM,支持张量并行,可直接参考 Hulumed_VLLM.ipynb 部署服务。

📊 MedUniEval:为医学多模态模型打造的"标尺"

仓库内置开源评测框架 MedUniEval(基于 MedEvalKit),覆盖文本、2D、3D、视频四大模态 30+ 基准,方便你验证任意模型:

  • 医学多模态:OmniMedVQA、PMC-VQA、VQA-RAD、SLAKE、PathVQA、MMMU-Medical
  • 医学知识:MMLU / MMLU-Pro、MedQA(USMLE/MCMLE)、PubMedQA、MedMCQA、SuperGPQA、MedXpertQA、Medbullets
  • 中文医学:CMB、CMExam、CMMLU
  • 胸部影像:IU X-Ray、CheXpert Plus、MIMIC-CXR
  • 3D 与视频:AMOS、M3D、Rad-3D、MedFrameQA、HealthBench

评测入口在 MedUniEval/eval.py,各数据集适配器集中在 MedUniEval/benchmarks.py,并附带可直接运行的脚本 eval.sh 与 eval_chunked.sh。

✅ 任务清单:Hulu-Med 能做什么

  • ✅ 视觉问答(2D / 3D / 视频)
  • ✅ 医学报告生成(findings + impressions)
  • ✅ 疾病诊断 / 罕见病诊断
  • ✅ 手术阶段识别 / 手术技能评估
  • ✅ 临床对话 / 预后预测 / 治疗规划
  • ✅ 医学文本推理 / 多语言医学问答 / 医学计算

📝 全文总结

维度 Hulu-Med
定位 完全透明开源的通用医学视觉语言模型
模态 医学文本 + 2D 图像 + 3D 体数据 + 医学视频
规模 4B / 7B / 14B / 30A3 / 32B / 235A22(+ Flash-27B)
数据 1670 万样本,12 解剖系统 × 14 影像模态
许可 Apache 2.0(可商用)
更多资料 README.md、src/setup.py

Hulu-Med 证明了"透明开源"与"SOTA 性能"并不矛盾:全部管线公开,任何人都能复现、微调并评测。建议的入门路线是:先用 7B 版本跑通胸片问答 demo → 切换到 vLLM 提升吞吐 → 用 MedUniEval 在目标数据集上量化验证效果。

登录后查看全文
Hulu-Med