genai_config.json完全解读:Qwen2.5-14B-instruct-rtn-128gs-fp16-onnx-gpu的ONNX输入输出与KV Cache详解
genai_config.json完全解读:Qwen2.5-14B-instruct-rtn-128gs-fp16-onnx-gpu的ONNX输入输出与KV Cache详解
Qwen2.5-14B-instruct-rtn-128gs-fp16-onnx-gpu 是基于 Qwen2.5-14B-Instruct 由 AMD OGA Model Builder 量化导出的 ONNX 模型,面向 AMD Ryzen AI 平台部署。genai_config.json 是该模型的"总说明书",它告诉 ONNX Runtime GenAI(ORT GenAI)推理引擎:模型文件在哪里、ONNX 图有哪些输入输出、KV Cache 如何组织、以及默认的生成参数是什么。本文带你逐字段读懂这份配置,搞懂自回归推理中最核心的 KV Cache 机制。
📁 模型目录结构与文件定位
仓库中的模型文件统一存放在 Upload Qwen2.5 ONNX files/ 目录下,核心文件分工如下:
| 文件 | 作用 |
|---|---|
| genai_config.json | ORT GenAI 引擎的总配置(本文主角) |
| text.onnx | ONNX 计算图定义(模型结构) |
| text.onnx.data | 权重外部数据文件(大模型标准做法,避免单文件过大) |
| config.json | 原始 Hugging Face 架构配置,可作对照参考 |
| generation_config.json | Hugging Face 侧的生成参数(temperature、top_k 等) |
| model_config.json | OGA Model Builder 的注册信息,记录量化来源 |
| chat_template.jinja | 对话模板,负责把多轮对话拼成模型输入 |
💡 量化方案见 README.md:RTN / Group 128 / FP16 激活 / INT4 权重,即权重以 INT4 存储、激活保持 FP16,在精度与显存占用之间取得平衡。
🧩 model 段:模型身份与上下文
genai_config.json 的 model 段定义了模型的基本身份:
{
"type": "qwen2",
"context_length": 32768,
"vocab_size": 152064,
"bos_token_id": 151643,
"eos_token_id": [151645, 151643],
"pad_token_id": 151643
}
type: "qwen2":声明架构家族,引擎据此选择对应的解码逻辑;context_length: 32768:支持最长 32K token 上下文,与 config.json 中的max_position_embeddings一致;eos_token_id: [151645, 151643]:遇到 `
登录后查看全文