一文读懂Hulu-Med:统一医学文本、2D/3D影像与视频的开源视觉语言模型全景解析
一文读懂Hulu-Med:统一医学文本、2D/3D影像与视频的开源视觉语言模型全景解析
Hulu-Med 是由 ZJU AI4H 团队推出的完全开源的医学视觉语言模型(Medical VLM),用一个模型统一理解医学文本、2D 医学影像、3D 体数据(CT/MRI)与医学视频四类模态——既能像医生一样回答临床问题、解读胸片并生成报告,也能看懂 3D CT 断层与手术视频。它在 30 个医学基准上刷新开源 SOTA,训练完全基于公开数据(1670 万样本),数据管线、训练代码与模型权重全部开放(Apache 2.0 许可),是新手入门医学多模态大模型的理想选择。
📌 一图看懂 Hulu-Med 全景架构
如上图所示,Hulu-Med 的设计围绕"Holistic Understanding(整体理解)"展开:
- 上方:四类统一输入——医学文本、2D 图像、3D 体数据、医学视频;
- 左侧:覆盖 14 种影像模态(CT、MRI、X 光、超声、内镜、病理、眼底、OCT 等);
- 下方:覆盖 12 大解剖系统(呼吸、心血管、消化、神经、骨骼肌肉……)的训练数据分布;
- 右侧:面向真实临床的下游任务——医疗对话、异常检测、预后预测、报告生成、手术阶段识别等。
🚀 为什么选 Hulu-Med:5 大核心优势
| 优势 | 说明 |
|---|---|
| 🌐 全模态统一 | 文本/2D/3D/视频一套模型搞定,3D 与视频被建模为"沿空间/时间维度的图像扩展",无需额外模型 |
| 🔓 完全透明 | 数据清洗、训练代码、模型权重全开源,可复现、可审计 |
| 📊 性能强劲 | 7B 小模型在多项基准上已超越 GPT-4.1 等闭源旗舰 |
| ⚡ 训练高效 | 7B–32B 版本仅需 4,000–40,000 GPU 小时 |
| 🤗 集成简单 | 原生支持 HuggingFace Transformers,兼容 vLLM 加速推理 |
从官方多模态基准对比可见(节选自 README.md):
| 模型 | OmniMedVQA | PMC-VQA | VQA-RAD | SLAKE | MMMU-Med |
|---|---|---|---|---|---|
| GPT-4.1 | 75.5 | 55.2 | 65.0 | 72.2 | 75.2 |
| MedGemma-4B | 70.7 | 49.2 | 72.3 | 78.2 | 43.2 |
| Lingshu-7B | 82.9 | 56.3 | 67.9 | 83.1 | – |
| Hulu-Med-7B | 84.2 | 66.8 | 78.0 | 86.8 | 51.4 |
| Hulu-Med-235A22 | 84.8 | 70.5 | 83.1 | 88.7 | 72.4 |
📦 模型家族:按需选择参数规模
| 模型 | 参数 | LLM 底座 | 训练成本 |
|---|---|---|---|
| Hulu-Med-4B | 4B | Qwen3-VL-4B | ~1,000 GPU 小时 |
| Hulu-Med-7B | 7B | Qwen2.5-7B | ~4,000 GPU 小时 |
| Hulu-Med-14B | 14B | Qwen3-14B | ~8,000 GPU 小时 |
| Hulu-Med-30A3 | 30B | Qwen3-VL-30A3B | ~3,200 GPU 小时 |
| Hulu-Med-32B | 32B | Qwen2.5-32B | ~40,000 GPU 小时 |
| Hulu-Med-235A22 | 235B | Qwen3-VL-235A22B | ~10,000 GPU 小时 |
💡 选型建议:个人开发/端侧实验选 4B/7B;科研复现选 14B/30A3(MoE 架构推理更快);追求极限性能选 235A22。另外,2026 年 4 月新发布的 Hulu-Med-Flash-Preview-27B 采用更短的思维链推理,在 HealthBench 上取得 64.5 分,适合追求吞吐的场景。
🏗️ 原理解析:模型架构的 4 个核心组件
Hulu-Med 沿用"视觉编码器 + 投影器 + 大语言模型"的经典多模态范式,但在医疗场景做了关键优化:
- 👁️ 视觉编码器:基于 SigLIP,引入 2D RoPE 旋转位置编码,让 2D 图像、3D 切片、视频帧共享同一条编码路径——这是"一套代码处理所有模态"的关键,实现见 src/hulumed/model/encoder.py;
- 🔗 多模态投影器:把视觉特征映射进语言模型的隐藏空间,支持线性/MLP 等结构,见 src/hulumed/model/projector.py;
- 🧠 LLM 解码器:基于 Qwen 系列,负责生成回答与报告,核心模型定义在 src/hulumed/model/hulumed_qwen2.py;
- ✂️ 医学感知 Token 压缩:通过空间下采样 + 医学先验,将视觉 token 压缩约 55%,大幅降低 3D/长视频的显存与推理成本,核心逻辑在 src/hulumed/model/hulumed_arch.py 的
spatial_downsampling。
上图这样一张胸片,只需输入一句"Generate a medical report for this image",Hulu-Med 就能输出包含 findings(所见)与 impressions(印象)的结构化报告——这正是 2D 影像理解最典型的应用场景。
🚀 Hulu-Med 快速上手:5 分钟完成安装与首次推理
一键安装环境
git clone https://gitcode.com/gh_mirrors/hu/Hulu-Med
cd Hulu-Med
conda create -n hulumed python=3.10 -y
conda activate hulumed
pip install torch==2.4.0 torchvision==0.19.0 --extra-index-url https://download.pytorch.org/whl/cu118
pip install transformers==4.51.2 accelerate==1.7.0
pip install decord ffmpeg-python imageio opencv-python nibabel
pip install -r requirements.txt
nibabel用于 3D NIfTI 文件(CT/MRI),decord/opencv用于视频解析。完整依赖见 requirements.txt。
推荐方式:HuggingFace Transformers 加载
from transformers import AutoModelForCausalLM, AutoProcessor
model_path = "ZJU-AI4H/Hulu-Med-7B"
model = AutoModelForCausalLM.from_pretrained(
model_path, trust_remote_code=True,
torch_dtype="bfloat16", device_map="auto")
processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True)
用统一对话格式输入任意模态
文本、2D 图像、3D 体数据、视频可自由组合在同一段对话中(图文交错也支持):
conversation = [{
"role": "user",
"content": [
{"type": "image", "image": {"image_path": "./demo/demo.jpg"}},
{"type": "text", "text": "Generate a medical report for this image."}
]
}]
# 3D 体数据(CT/MRI 的 NIfTI):指定切片数与轴,0=矢状 1=冠状 2=轴位
# {"type": "3d", "3d": {"image_path": "amos_0013.nii",
# "nii_num_slices": 180, "nii_axis": 2}}
# 医学视频:指定采样帧率与最大帧数
# {"type": "video", "video": {"video_path": "1min_demo.mp4",
# "fps": 1, "max_frames": 1800}}
inputs = processor(conversation=conversation, add_system_prompt=True,
add_generation_prompt=True, return_tensors="pt")
out_ids = model.generate(**{k: v.cuda() for k, v in inputs.items()},
max_new_tokens=1024)
print(processor.batch_decode(out_ids, skip_special_tokens=True,
use_think=False)[0])
💡 use_think 参数:False 只返回最终答案;True 会同时输出模型的逐步推理(思维链)过程,方便排查诊断逻辑。完整示例可运行 Inference.ipynb、Inference_qwen3.ipynb,原始加载方式参考 src/hulumed/model/processor.py 与 src/hulumed/mm_utils.py 中的图像/视频加载工具。
追求更高吞吐?接入 vLLM
Hulu-Med 已兼容最新版 vLLM,支持张量并行,可直接参考 Hulumed_VLLM.ipynb 部署服务。
📊 MedUniEval:为医学多模态模型打造的"标尺"
仓库内置开源评测框架 MedUniEval(基于 MedEvalKit),覆盖文本、2D、3D、视频四大模态 30+ 基准,方便你验证任意模型:
- 医学多模态:OmniMedVQA、PMC-VQA、VQA-RAD、SLAKE、PathVQA、MMMU-Medical
- 医学知识:MMLU / MMLU-Pro、MedQA(USMLE/MCMLE)、PubMedQA、MedMCQA、SuperGPQA、MedXpertQA、Medbullets
- 中文医学:CMB、CMExam、CMMLU
- 胸部影像:IU X-Ray、CheXpert Plus、MIMIC-CXR
- 3D 与视频:AMOS、M3D、Rad-3D、MedFrameQA、HealthBench
评测入口在 MedUniEval/eval.py,各数据集适配器集中在 MedUniEval/benchmarks.py,并附带可直接运行的脚本 eval.sh 与 eval_chunked.sh。
✅ 任务清单:Hulu-Med 能做什么
- ✅ 视觉问答(2D / 3D / 视频)
- ✅ 医学报告生成(findings + impressions)
- ✅ 疾病诊断 / 罕见病诊断
- ✅ 手术阶段识别 / 手术技能评估
- ✅ 临床对话 / 预后预测 / 治疗规划
- ✅ 医学文本推理 / 多语言医学问答 / 医学计算
📝 全文总结
| 维度 | Hulu-Med |
|---|---|
| 定位 | 完全透明开源的通用医学视觉语言模型 |
| 模态 | 医学文本 + 2D 图像 + 3D 体数据 + 医学视频 |
| 规模 | 4B / 7B / 14B / 30A3 / 32B / 235A22(+ Flash-27B) |
| 数据 | 1670 万样本,12 解剖系统 × 14 影像模态 |
| 许可 | Apache 2.0(可商用) |
| 更多资料 | README.md、src/setup.py |
Hulu-Med 证明了"透明开源"与"SOTA 性能"并不矛盾:全部管线公开,任何人都能复现、微调并评测。建议的入门路线是:先用 7B 版本跑通胸片问答 demo → 切换到 vLLM 提升吞吐 → 用 MedUniEval 在目标数据集上量化验证效果。
