新手快速上手:3步用ModelScope SDK和Git下载并运行Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu完整教程
新手快速上手:3步用ModelScope SDK和Git下载并运行Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu完整教程
想在本地跑一个3B 小参数的指令对话大模型,但不知道从哪下手?本文带你 3 步完成 Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu 的下载与首次运行:先用 ModelScope SDK(或 Git clone)获取模型文件,再用 Python 加载权重,最后发起第一次推理。全程命令都很短,跟着敲即可 🚀
一、这个模型是什么?30秒看懂名字含义
很多新手看到这么长的模型名会懵,其实拆开看就很直白:
| 片段 | 含义 |
|---|---|
Qwen2.5_3B_Instruct |
基于通义千问 Qwen2.5 的 3B(约30亿参数) 指令微调模型,可直接用于对话问答 |
ra |
经过鲁棒/对抗安全对齐(RAI) 处理,面对恶意或诱导性提问更稳妥 |
medusa_1.0 |
附带 Medusa 投机解码头,通过一次预测多个 token 来加速推理生成 |
npu |
面向 NPU 推理加速卡(如昇腾等神经处理器)优化的部署版本 |
一句话总结:这是一个体积小、对话能力强、推理速度快、适合 NPU 部署的实用级语言模型,正好适合新手在消费级硬件上体验大模型 🎯
模型的完整说明(标签、权重文件、下载方式)都写在仓库的 README.md 模型卡中,建议先扫一眼。
二、第 1 步:下载模型(两种方法任选)
下载前请先装好 Python 3.9+ 环境。两种方式任选其一:
方法 A:ModelScope SDK 下载(推荐新手)
SDK 会自动管理缓存目录、断点续传,是最省心的一键下载步骤。
先安装 ModelScope:
pip install modelscope
再新建一个 download.py,写入两行下载代码并运行:
from modelscope import snapshot_download
model_dir = snapshot_download('amd/Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu')
print(model_dir) # 打印出本地模型目录路径,后续步骤要用
运行 python download.py,结束后屏幕上打印的 model_dir 就是本地模型文件目录,请记住这个路径。
方法 B:Git 下载(适合习惯版本管理的同学)
如果偏好 Git,直接克隆仓库即可,模型文件会完整拉取到本地目录:
git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu.git
克隆完成后,仓库目录本身即为 model_dir。
三、第 2 步:加载模型到内存
拿到 model_dir 后,用 HuggingFace transformers 加载。建议先补装依赖:
pip install transformers accelerate torch
核心加载代码只有 4 行:
from transformers import AutoTokenizer, AutoModelForCausalLM
model_dir = "上一步打印出的本地模型路径"
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_dir, trust_remote_code=True)
💡 小提示:如果是在 NPU 设备上运行,可额外安装厂商提供的 torch_npu 适配包,并把 model 移到 NPU 设备上,这就是模型名中 npu 后缀的意义。
四、第 3 步:发起第一次推理
加载完成后,用一个简单问题验证效果:
messages = [{"role": "user", "content": "用一句话介绍你自己"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
output = model.generate(inputs, max_new_tokens=64)
print(tokenizer.decode(output[0], skip_special_tokens=True))
看到模型流畅输出自我介绍,恭喜你——3 步全部完成,模型已成功跑起来了 🎉
五、新手常见问题速查
- 下载太慢怎么办? 优先用 ModelScope SDK,它自带断点续传,中断后重新运行
snapshot_download会从断点继续。 - 显存/内存不够? 3B 规模模型用
float16或bf16精度加载即可明显降低占用。 trust_remote_code=True是干嘛的? 它允许加载模型自带的自定义代码文件,是官方推荐的加载方式,权重与代码均取自可信仓库。- 模型文件放在哪里看? 两种方式下载的原始说明都来自仓库模型卡 README.md,其中「模型文件」章节列出了全部权重与配置文件。
写在最后
回顾一下这条最短上手路径:
- ✅ 下载:
snapshot_download或git clone,二选一 - ✅ 加载:
AutoTokenizer+AutoModelForCausalLM两行搞定 - ✅ 推理:
model.generate跑通第一次对话
Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu 凭借小体量 + 安全对齐 + 投机解码加速的组合,是新手体验大模型开发性价比很高的起点。接下来你可以尝试接入 Gradio、FastChat 等界面框架,把它变成一个真正的聊天应用,继续探索大模型的世界吧!