新手快速上手:3步用ModelScope SDK和Git下载并运行Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu完整教程

原创2026-10-16 17:44:481,932 阅读
文章标签:大模型模型推理服务本地部署

新手快速上手:3步用ModelScope SDK和Git下载并运行Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu完整教程

想在本地跑一个3B 小参数的指令对话大模型,但不知道从哪下手?本文带你 3 步完成 Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu 的下载与首次运行:先用 ModelScope SDK(或 Git clone)获取模型文件,再用 Python 加载权重,最后发起第一次推理。全程命令都很短,跟着敲即可 🚀

一、这个模型是什么?30秒看懂名字含义

很多新手看到这么长的模型名会懵,其实拆开看就很直白:

片段 含义
Qwen2.5_3B_Instruct 基于通义千问 Qwen2.5 的 3B(约30亿参数) 指令微调模型,可直接用于对话问答
ra 经过鲁棒/对抗安全对齐(RAI) 处理,面对恶意或诱导性提问更稳妥
medusa_1.0 附带 Medusa 投机解码头,通过一次预测多个 token 来加速推理生成
npu 面向 NPU 推理加速卡(如昇腾等神经处理器)优化的部署版本

一句话总结:这是一个体积小、对话能力强、推理速度快、适合 NPU 部署的实用级语言模型,正好适合新手在消费级硬件上体验大模型 🎯

模型的完整说明(标签、权重文件、下载方式)都写在仓库的 README.md 模型卡中,建议先扫一眼。

二、第 1 步:下载模型(两种方法任选)

下载前请先装好 Python 3.9+ 环境。两种方式任选其一:

方法 A:ModelScope SDK 下载(推荐新手)

SDK 会自动管理缓存目录、断点续传,是最省心的一键下载步骤。

先安装 ModelScope:

pip install modelscope

再新建一个 download.py,写入两行下载代码并运行:

from modelscope import snapshot_download

model_dir = snapshot_download('amd/Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu')
print(model_dir)  # 打印出本地模型目录路径,后续步骤要用

运行 python download.py,结束后屏幕上打印的 model_dir 就是本地模型文件目录,请记住这个路径。

方法 B:Git 下载(适合习惯版本管理的同学)

如果偏好 Git,直接克隆仓库即可,模型文件会完整拉取到本地目录:

git clone https://gitcode.com/hf_mirrors/amd/Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu.git

克隆完成后,仓库目录本身即为 model_dir。

三、第 2 步:加载模型到内存

拿到 model_dir 后,用 HuggingFace transformers 加载。建议先补装依赖:

pip install transformers accelerate torch

核心加载代码只有 4 行:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_dir = "上一步打印出的本地模型路径"
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_dir, trust_remote_code=True)

💡 小提示:如果是在 NPU 设备上运行,可额外安装厂商提供的 torch_npu 适配包,并把 model 移到 NPU 设备上,这就是模型名中 npu 后缀的意义。

四、第 3 步:发起第一次推理

加载完成后,用一个简单问题验证效果:

messages = [{"role": "user", "content": "用一句话介绍你自己"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
output = model.generate(inputs, max_new_tokens=64)
print(tokenizer.decode(output[0], skip_special_tokens=True))

看到模型流畅输出自我介绍,恭喜你——3 步全部完成,模型已成功跑起来了 🎉

五、新手常见问题速查

  • 下载太慢怎么办? 优先用 ModelScope SDK,它自带断点续传,中断后重新运行 snapshot_download 会从断点继续。
  • 显存/内存不够? 3B 规模模型用 float16 或 bf16 精度加载即可明显降低占用。
  • trust_remote_code=True 是干嘛的? 它允许加载模型自带的自定义代码文件,是官方推荐的加载方式,权重与代码均取自可信仓库。
  • 模型文件放在哪里看? 两种方式下载的原始说明都来自仓库模型卡 README.md,其中「模型文件」章节列出了全部权重与配置文件。

写在最后

回顾一下这条最短上手路径:

  1. ✅ 下载:snapshot_download 或 git clone,二选一
  2. ✅ 加载:AutoTokenizer + AutoModelForCausalLM 两行搞定
  3. ✅ 推理:model.generate 跑通第一次对话

Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu 凭借小体量 + 安全对齐 + 投机解码加速的组合,是新手体验大模型开发性价比很高的起点。接下来你可以尝试接入 Gradio、FastChat 等界面框架,把它变成一个真正的聊天应用,继续探索大模型的世界吧!

登录后查看全文
Qwen2.5_3B_Instruct_rai_1.8.0_medusa_1.0_npu