genai_config.json完全解读:Qwen2.5-14B-instruct-rtn-128gs-fp16-onnx-gpu的ONNX输入输出与KV Cache详解

原创2026-10-19 21:48:291,910 阅读

genai_config.json完全解读:Qwen2.5-14B-instruct-rtn-128gs-fp16-onnx-gpu的ONNX输入输出与KV Cache详解

Qwen2.5-14B-instruct-rtn-128gs-fp16-onnx-gpu 是基于 Qwen2.5-14B-Instruct 由 AMD OGA Model Builder 量化导出的 ONNX 模型,面向 AMD Ryzen AI 平台部署。genai_config.json 是该模型的"总说明书",它告诉 ONNX Runtime GenAI(ORT GenAI)推理引擎:模型文件在哪里、ONNX 图有哪些输入输出、KV Cache 如何组织、以及默认的生成参数是什么。本文带你逐字段读懂这份配置,搞懂自回归推理中最核心的 KV Cache 机制。

📁 模型目录结构与文件定位

仓库中的模型文件统一存放在 Upload Qwen2.5 ONNX files/ 目录下,核心文件分工如下:

文件 作用
genai_config.json ORT GenAI 引擎的总配置(本文主角)
text.onnx ONNX 计算图定义(模型结构)
text.onnx.data 权重外部数据文件(大模型标准做法,避免单文件过大)
config.json 原始 Hugging Face 架构配置,可作对照参考
generation_config.json Hugging Face 侧的生成参数(temperature、top_k 等)
model_config.json OGA Model Builder 的注册信息,记录量化来源
chat_template.jinja 对话模板,负责把多轮对话拼成模型输入

💡 量化方案见 README.md:RTN / Group 128 / FP16 激活 / INT4 权重,即权重以 INT4 存储、激活保持 FP16,在精度与显存占用之间取得平衡。

🧩 model 段:模型身份与上下文

genai_config.json 的 model 段定义了模型的基本身份:

{
    "type": "qwen2",
    "context_length": 32768,
    "vocab_size": 152064,
    "bos_token_id": 151643,
    "eos_token_id": [151645, 151643],
    "pad_token_id": 151643
}
  • type: "qwen2":声明架构家族,引擎据此选择对应的解码逻辑;
  • context_length: 32768:支持最长 32K token 上下文,与 config.json 中的 max_position_embeddings 一致;
  • eos_token_id: [151645, 151643]:遇到 `
登录后查看全文
Qwen2.5-14B-instruct-rtn-128gs-fp16-onnx-gpu