全面解读Hulu-Med-14B:完全透明的医疗视觉语言大模型,如何一站式读懂医学文本、2D/3D影像与视频
全面解读Hulu-Med-14B:完全透明的医疗视觉语言大模型,如何一站式读懂医学文本、2D/3D影像与视频
Hulu-Med-14B 是由浙江大学团队开源的医疗视觉语言大模型(Medical Vision-Language Model,医疗VLM),基于 Qwen3-14B 构建,能够一站式理解医学文本、2D医学影像、3D CT/MRI 体积数据与手术视频。与多数"黑盒"医疗大模型不同,Hulu-Med 是"完全透明"的:训练数据全部来自公开数据集(1670万样本),训练代码、数据流程与模型权重全部开源,并采用 Apache 2.0 许可,可在30个主流医疗基准上比肩甚至超越 GPT-4.1、Gemini-2.5-Flash 等闭源系统。
Hulu-Med-14B 是什么?三大核心卖点
很多通用大模型(如 GPT-4o、Gemini)虽然能"看图说话",但在医学影像上表现有限;而专用医疗模型(如 MedGemma、LLaVA-Med)又往往训练细节不透明。Hulu-Med 恰好补齐了这两个缺口:
- 全模态覆盖:同一套对话接口即可处理纯文本问诊、X光/病理等2D图片、CT/MRI 的 3D NIfTI 文件(
.nii)、以及手术视频,还支持多图对比、图文交错输入等高级用法。 - 完全透明的开源流水线:从数据清洗(12大解剖系统、14种影像模态)、训练代码到模型权重全部公开,仅用约 8000 GPU 小时就完成了 14B 模型的训练,成本远低于同类产品。
- SOTA 级性能:在 OM.VQA、PMC-VQA、SLAKE、PathVQA 等医疗多模态基准上,Hulu-Med-14B 取得 85.1 / 68.9 / 86.5 / 64.4 的成绩,全面领先同规模开源模型。
性能速览:Hulu-Med-14B 与主流医疗VLM对比
| 模型 | OM.VQA | PMC-VQA | VQA-RAD | SLAKE | PathVQA |
|---|---|---|---|---|---|
| GPT-4.1(闭源) | 75.5 | 55.2 | 65.0 | 72.2 | 55.5 |
| MedGemma-4B | 70.7 | 49.2 | 72.3 | 78.2 | 48.1 |
| Lingshu-7B | 82.9 | 56.3 | 67.9 | 83.1 | 61.9 |
| Hulu-Med-14B | 85.1 | 68.9 | 76.1 | 86.5 | 64.4 |
在纯文本医学推理上同样亮眼:Hulu-Med-14B 在 MedQA 达到 78.1(GPT-4.1 为 89.1、Lingshu-32B 为 74.7),在 MedMCQA、PubMedQA 上均超过 70 分。完整对比数据见 README.md 中的 Performance Highlights 章节。
模型架构:SigLIP 视觉编码器 + Qwen3 解码器
理解 Hulu-Med-14B 的架构,只需记住它的"四件套",这也是你评估能否二次开发的关键:
- 视觉编码器:基于 SigLIP 改造,引入 2D RoPE(旋转位置编码),使同一个编码器可以统一处理 2D 切片、3D 体数据与视频帧,无需为每种模态单独设计。
- 多模态投影器(MLP Projector):将视觉特征投影到语言模型空间,
mm_projector_type采用mlp2x_gelu两层结构。 - LLM 解码器:Qwen3-14B(40 层、40 注意力头、hidden_size 5120,支持 GQA 分组注意力),负责生成自然语言回答。
- 医学感知的 Token 压缩:通过压缩机制可减少约 55% 的视觉 token,显著降低长序列(如整个 CT 序列、长视频)的显存与推理成本。
这些关键参数都可以在仓库的 config.json 中直接查到,例如 vision_encoder_config 定义了 27 层、patch_size=14 的视觉编码器,max_position_embeddings 为 40960,意味着模型能处理很长的上下文。核心建模逻辑位于 modeling_hulumed_qwen3.py(HulumedQwen3ForCausalLM 主模型类)与 modeling_hulumed_encoder.py(视觉编码器实现)。
快速上手:如何加载并调用 Hulu-Med-14B
Hulu-Med 已原生适配 HuggingFace Transformers,无需魔改代码即可加载。仓库中的 configuration_hulumed_qwen3.py 和 modeling_hulumed_qwen3.py 通过 auto_map 注册(见 config.json 第5-8行),所以可以直接用 AutoModelForCausalLM.from_pretrained 加载,权重会自动下载。
环境安装要点
推荐 Python 3.10 + PyTorch 2.4.0(CUDA 11.8)+ flash-attn 2.7.3 + transformers 4.51.2,完整清单参考 README.md 的 Installation 章节。针对各模态的附加依赖:
- 3D 影像(NIfTI 文件):
pip install nibabel - 视频:
pip install decord ffmpeg-python imageio opencv-python - 加速推理:项目已兼容最新版 vLLM,支持张量并行,适合多卡部署
五类输入方式一览
处理器 processing_hulumed.py 的 HulumedProcessor 统一了所有输入格式,你只需在对话中按 type 声明模态即可:
| 输入类型 | type 声明 | 典型场景 |
|---|---|---|
| 纯文本 | text |
医患对话、医学推理问答 |
| 2D 医学图片 | image |
X光、CT 单张切片、病理、眼底 |
| 多图对比 | 多个 image |
"这两张片子是否同一患者?" |
| 3D 体积数据 | 3d(传 .nii 路径、切层数、轴向) |
整例 CT 生成报告 |
| 视频 | video(传路径、fps、max_frames) |
手术视频动作/阶段识别 |
例如 3D CT 输入时,可指定 nii_num_slices: 180 抽帧数量、nii_axis: 2(0=矢状面、1=冠状面、2=轴位面);视频输入支持 fps 与 max_frames 控制抽帧密度。图文交错(Text-Image-Text)也完全支持,适合"图A……图B……哪张是病理切片?"这类问题。
思考模式:use_think 参数
Hulu-Med 基于 Qwen3,自带推理(thinking)能力。解码时 use_think=False 只返回最终答案(默认推荐);use_think=True 会额外输出模型的逐步推理过程,便于审查医疗判断的依据。提示词中若加入 "Please reason step by step, and put your final answer within \boxed{}." 可显式开启思考模式。默认采样参数见 generation_config.json(temperature=0.7、top_p=0.8、repetition_penalty=1.05)。
训练数据与覆盖范围:1670万公开样本
"完全透明"不仅指代码开源,更指数据可溯源。Hulu-Med 的训练语料共 16.7M 样本,由四部分组成:
- 医疗多模态数据(9M):覆盖 14 种影像模态
- 医疗文本数据(4.9M):临床笔记、文献、QA 对
- 通用多模态数据(1.3M):提升泛化能力
- 通用文本数据(1.5M):强化推理能力
覆盖 12 大解剖系统(心血管、神经、消化、骨骼肌肉、泌尿等)与 14 种影像模态(CT、MRI、X-Ray、超声、PET、OCT、内镜、显微镜、组织病理、眼底、皮肤镜、血管造影、数字照片、医疗图表)。下游任务包括医学对话、异常检测、预后预测、手术技能评估、医学报告生成、手术阶段识别等,几乎囊括临床影像科与病理科的日常需求。
模型家族与选型建议
Hulu-Med 提供 4 个规格,14B 是"能力/成本"的甜点档位(LLM 底座为 Qwen3-14B,训练成本约 8000 GPU 小时):
| 模型 | 参数量 | 训练成本 | 适合场景 |
|---|---|---|---|
| Hulu-Med-4B | 4B | 较低 | 端侧/边缘部署,轻量问诊 |
| Hulu-Med-7B | 7B | ~4,000 GPU 小时 | 单卡部署、私有化服务 |
| Hulu-Med-14B | 14B | ~8,000 GPU 小时 | 高精度多模态理解(本仓库) |
| Hulu-Med-32B | 32B | ~40,000 GPU 小时 | 追求极限精度,需多卡/vLLM 张量并行 |
本仓库即为 Hulu-Med-14B 的 HuggingFace 兼容权重,包含 6 个分片的 model-*.safetensors 权重文件(索引见 model.safetensors.index.json)、分词器(vocab.json、merges.txt、tokenizer_config.json)以及图像处理配置(preprocessor_config.json、processor_config.json)。
常见问题 FAQ
Q1:Hulu-Med-14B 能处理完整的 3D CT 吗?
可以。传入 .nii/.nii.gz 路径并指定抽帧数(如 180 片)和轴向即可,处理器会自动按轴切层转为序列输入。需要 nibabel 依赖,缺失时 processing_hulumed.py 会给出明确的安装提示。
Q2:与 MedGemma、Lingshu 等开源医疗模型比,优势在哪? 一是性能(14B 规格下在 OM.VQA、PMC-VQA、SLAKE、MedQA 等多项基准领先);二是透明性——训练数据全部公开可溯源,训练成本低、可复现;三是原生 Qwen3 底座带来的思考模式与中文能力。
Q3:支持多轮对话和多图吗?
支持。HulumedProcessor 采用标准对话格式(system/user/assistant),默认系统提示词为 "You are Hulu-Med, a helpful health assistant that can understand text, 2D images, videos, and 3D images"(见 chat_template.json),多图、多视频、图文交错均可放在同一条 user 消息中。
Q4:如何部署上线?
推荐 vLLM(2025-11 起已官方兼容,支持张量并行);离线或小流量场景用 Transformers + flash_attention_2 即可。注意 pixel_values 建议转为 bfloat16 以与模型权重保持一致。
总结:为什么值得关注 Hulu-Med-14B
Hulu-Med-14B 用"公开数据 + 开源代码 + 开放权重"证明了一件事:透明训练并不牺牲性能——它在医疗多模态理解上全面领先同规模开源模型,并追平顶级闭源 API。对于医疗 AI 研究者、影像科信息化团队与想落地"AI 读片"的工程师,它提供了一个可复现、可审计、可私有化部署的完整方案。结合其 Apache 2.0 许可证,商用与二次开发门槛都很低。
⚠️ 提示:Hulu-Med 输出仅供辅助参考,不构成医学诊断建议;临床决策请以执业医师判断为准。