HealthGPT 使用与启动指南

1. 项目介绍

HealthGPT 是一个先进的医疗大型视觉-语言模型，具有统一的框架，集成了医疗视觉理解和生成能力。本项目提出了一种异质低秩适应（H-LoRA）和三阶段学习策略，使预训练的大型语言模型能够有效地遵循视觉理解和生成指令。

2. 项目快速启动

环境准备

首先，克隆我们的仓库并创建 Python 环境以运行 HealthGPT：

# 克隆项目
git clone https://github.com/DCDmllm/HealthGPT.git
cd HealthGPT

# 准备 Python 环境
conda create -n HealthGPT python=3.10
conda activate HealthGPT
pip install -r requirements.txt

准备预训练权重

HealthGPT 使用 clip-vit-large-patch14-336 作为视觉编码器，并使用 Phi-3-mini-4k-instruct 和 phi-4 作为 HealthGPT-M3 和 HealthGPT-L14 的预训练 LLM 基础模型。请下载相应的权重：

• 视觉编码器：clip-vit-large-patch14-336
• HealthGPT-M3 基础模型：Phi-3-mini-4k-instruct
• HealthGPT-L14 基础模型：phi-4

下载后，将 last.ckpt 和 model.yaml 文件放在 taming_transformers/ckpt 目录下。

推理

以医疗视觉问答为例，执行以下步骤进行推理：

# 运行推理脚本
cd llava/demo
bash com_infer.sh

或者直接在终端运行以下 Python 命令：

python3 com_infer.py \
--model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
--dtype "FP16" \
--hlora_r "64" \
--hlora_alpha "128" \
--hlora_nums "4" \
--vq_idx_nums "8192" \
--instruct_template "phi3_instruct" \
--vit_path "openai/clip-vit-large-patch14-336/" \
--hlora_path "path/to/your/local/com_hlora_weights.bin" \
--fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
--question "你的问题" \
--img_path "path/to/image.jpg"

请将 path/to/your/local/com_hlora_weights.bin 和 path/to/your/local/fusion_layer_weights.bin 替换为实际的权重文件路径。

3. 应用案例和最佳实践

• 案例 1： 使用 HealthGPT 进行医疗图像的问答。
• 案例 2： 利用 HealthGPT 生成医疗图像描述。

4. 典型生态项目

• 项目 A： 集成 HealthGPT 到医院的信息系统中，提供智能问答服务。
• 项目 B： 利用 HealthGPT 为远程医疗服务生成详细的图像描述。