解密名字里的gpuep:Laguna-S-2.1_gpuep_1.0_gpu_128的AMDGPU(HIP)执行提供器与关键配置
解密名字里的gpuep:Laguna-S-2.1_gpuep_1.0_gpu_128的AMDGPU(HIP)执行提供器与关键配置
Laguna-S-2.1_gpuep_1.0_gpu_128 是 AMD 基于 poolside/Laguna-S-2.1 里的关键配置与量化策略,快速掌握它的运行方式与性能优化点。
一句话看懂:这个名字在说什么?
模型仓库的文件名本身就是一份"配置说明书"。逐段拆解如下:
| 名字片段 | 含义 | 说明 |
|---|---|---|
Laguna-S-2.1 |
基础模型标识 | 源模型为 Poolside 开源的 Laguna-S-2.1(代码/对话模型) |
gpuep |
GPU Execution Provider | 模型被编译为运行在 GPU 执行提供器上的 ONNX 图 |
1.0 |
执行提供器配置版本 | 表示这组 AMDGPU EP 参数为 1.0 版 |
gpu_128 |
GPU 执行 + 128 量化块 | 权重采用 group 128 的 INT4 量化(见下文) |
换句话说,这是一个"为 AMD GPU 量身定做的量化版 ONNX 模型",开箱即用,无需再手动配置执行后端。
💡 小知识:ONNX Runtime 中的"执行提供器"(EP)决定了模型在哪种硬件上执行——CPU、CUDA、ROCm……本仓库使用的正是 AMD 的 AMDGPU 提供器,通过 HIP(Heterogeneous-computing Interface for Portability,AMD 的异构计算接口,可类比为 AMD 版 CUDA)来调度 GPU 计算。
AMDGPU 执行提供器是如何开启的?
模型如何指定"跑在 AMD GPU 上",全部写在 genai_config.json 的 provider_options 中:
"provider_options": [
{
"AMDGPU": {
"profile": "hip",
"enable_graph_capture": "0"
}
}
]
三个关键参数逐一解读:
AMDGPU:指定 ONNX Runtime GenAI 使用 AMD GPU 执行提供器,模型推理完全交给 GPU 完成;profile: "hip":明确启用 HIP 计算路径,即 AMD 的异构编程接口,这是 Ryzen AI 处理器内 NPU/GPU 加速的核心;enable_graph_capture: "0":关闭图捕获(graph capture)优化。关闭它通常用于规避某些驱动/算子对图捕获的兼容问题,换取更稳定的首次加载。
同时,genai_config.json 中还有一行容易被忽略但很重要的配置:
"session.disable_cpu_ep_fallback": "1"
它禁止了 CPU 回退——所有算子必须走 GPU。这既是性能保证(避免个别算子悄悄掉回 CPU 拖慢速度),也说明该模型图已经完整适配了 AMDGPU EP,不存在"GPU 跑不了就交给 CPU"的妥协。
模型架构速览:1M 上下文与 GQA 注意力
genai_config.json 同时描述了模型的 decoder 结构,几个值得新手记住的参数:
| 参数 | 值 | 通俗解释 |
|---|---|---|
num_hidden_layers |
48 | 模型共 48 层 Transformer |
hidden_size |
3072 | 每层内部特征维度 |
num_attention_heads |
48 | 注意力头数 |
num_key_value_heads |
8 | 仅 8 个 KV 头 → 采用 GQA(分组查询注意力),大幅压缩 KV Cache 显存 |
head_size |
128 | 每个注意力头的维度 |
context_length |
1048576 | 支持 约 100 万 token 的超长上下文 |
vocab_size |
100352 | 词表规模 |
GQA + 大 head_size 的组合,是这类大模型在消费级 GPU 上能"跑得动、跑得久"的关键设计之一。
量化策略:INT4 权重如何做到又小又快?
README.md 中列出了这套模型的量化方案,这是名字里 gpu_128 的由来:
- 文本解码器:RTN 量化 / Group 128 / FP16 激活 / INT4 权重;MoE 专家部分使用 QMoE INT4(block size 128)
- 共享专家:INT4 MatMulNBits
- LM Head:RTN / Group 32 / INT4 MatMulNBits(对称量化,accuracy_level 4)
- 纯文本解码器,不含视觉/嵌入组件
用一张表概括量化前后体积关系(INT4 ≈ FP16 的 1/4):
| 组件 | 精度 | 量化方式 |
|---|---|---|
| MoE 专家权重 | INT4 | QMoE,block size 128 |
| 共享专家 | INT4 | MatMulNBits |
| LM Head | INT4 | RTN Group 32 对称量化 |
| 激活值 | FP16 | 保持高精度 |
📦 仓库中 model.onnx 与 model.onnx.data 分别是 ONNX 计算图与权重数据文件;配套的 tokenizer.json、tokenizer_config.json、special_tokens_map.json 和 chat_template.jinja 则负责文本的切分与对话模板拼装。
如何跑起来:依赖与运行方式
本仓库是纯模型仓库,不含代码。运行它需要安装支持 AMD GPU 的推理运行时:
- 安装 onnxruntime-genai(README.md 的
library_name字段即指明了运行时); - 确保系统已安装 AMD 驱动与 HIP/ROCm 运行时环境;
- 将本仓库目录作为模型路径加载,
genai_config.json会自动应用上文所述的 AMDGPU 提供器配置。
由于 disable_cpu_ep_fallback 已开启,没有 AMD GPU 的设备无法运行该模型——这正是"gpuep"命名的意义:它承诺了这个模型只面向 GPU 优化。
许可与来源:两个 License 需要注意
阅读 README.md 的许可部分,有两个要点:
- 修改版权:AMD 修改版权 2026,修改后的部署文件遵循 MIT License;
- 基础模型许可:源模型 poolside/Laguna-S-2.1 遵循 OpenMDW 1.1 许可,使用该文件必须遵守该许可条款。
商业使用前,建议分别核对两份许可的具体条款。
总结:记住这 5 个关键点
- gpuep = GPU Execution Provider,模型已按 AMD GPU 执行提供器编译优化;
profile: "hip"指明走 HIP 计算路径,面向 AMD Ryzen AI 硬件;disable_cpu_ep_fallback: "1"意味着 100% GPU 执行,无 CPU 回退;- INT4 / group 128 量化(QMoE)让 MoE 权重体积大幅缩小,
gpu_128即指此量化粒度; - 48 层 + GQA + 1M 上下文,配合 onnxruntime-genai 即可在 AMD GPU 上本地运行。
只要理解 genai_config.json 里的这几行配置,你就能清楚地知道这个模型"为什么快、跑在哪、省在哪"——这正是解密 gpuep 命名背后的全部答案。