Qwen3-ExecuTorch config.json 逐字段解析:模型清单文件完整参考手册

原创2026-11-11 20:15:011,879 阅读
文章标签:大模型人工智能本地部署模型量化Qwen

Qwen3-ExecuTorch config.json 逐字段解析:模型清单文件完整参考手册

在 Qwen3-ExecuTorch 仓库中,每个模型目录下的 config.json 就是一份"模型清单文件":它告诉端侧推理框架该模型叫什么、用什么后端、以什么精度导出、支持多大的上下文。本文带你逐字段解析 Qwen3-ExecuTorch 的 config.json 完整参考手册,帮你 5 分钟看懂这份模型元数据。

仓库里有哪些 config.json?

本仓库共提供 7 份 config.json:1 份根目录总清单 + 6 份模型变体清单(3 种规格 × 2 种后端):

路径 后端 精度 对应模型文件
config.json — — 根目录总清单
0_6b/mlx/config.json mlx int8 qwen_3_0_6b_mlx_int8.pte(883 MiB)
0_6b/xnnpack/config.json xnnpack 8da4w qwen_3_0_6b_xnnpack_8da4w.pte(494 MiB)
1_7b/mlx/config.json mlx int4 qwen_3_1_7b_mlx_int4.pte(1.4 GiB)
1_7b/xnnpack/config.json xnnpack 8da4w qwen_3_1_7b_xnnpack_8da4w.pte(1.2 GiB)
4b/mlx/config.json mlx int4 qwen_3_4b_mlx_int4.pte(2.7 GiB)
4b/xnnpack/config.json xnnpack 8da4w qwen_3_4b_xnnpack_8da4w.pte(2.5 GiB)

根目录 config.json:只有一个字段

config.json 内容极简,仅声明整个仓库归属的模型名:

{
  "modelName": "qwen-3"
}
  • modelName:仓库级别标识,标明该仓库托管的是 qwen-3 系列的端侧导出模型。

顶层公共字段:变体清单的"身份证"

6 份变体 config.json 结构完全一致。以 0_6b/mlx/config.json 为例,顶层字段含义如下:

字段 示例值 含义
$schema (schema 地址) 指向 config 的 JSON Schema 定义,用于编辑器校验格式
model qwen_3 具体模型名(下划线命名)
family qwen 模型家族,方便按系列归类检索
capabilities ["text-generation"] 模型能力列表,此仓库仅支持文本生成
backend mlx / xnnpack 执行后端:mlx 面向 Apple 设备,xnnpack 跨平台
license apache-2.0 模型权重许可证,Apache 2.0 可自由商用
size 0_6b / 1_7b / 4b 参数量规格,与目录名一一对应
variants 数组 核心部分,列出该目录下所有 .pte 变体(详见下节)

variants:模型变体清单

variants 是整份 config.json 的心脏。本仓库每个目录各含 1 个变体,字段如下:

字段 示例 含义
file qwen_3_0_6b_mlx_int8.pte 实际模型文件名(ExecuTorch 程序)
precision int8 / int4 / 8da4w 量化精度:int8、int4,或 8 位激活 + 4 位权重的混合量化
quantized true 是否为量化模型
default true 是否该目录的默认变体,运行时优先加载
methods 对象 运行时可调用的元信息方法,逐字段见下表

methods:运行时元信息

字段 示例 含义
enable_dynamic_shape true 支持动态输入形状,可处理不同长度的输入
forward.inputs[0] shape [1, {min: 1, max: 2047}],dtype int64 输入一:token ID 序列,单条输入最多 2047 个 token
forward.inputs[1] shape [1],dtype int64 输入二:序列起始偏移量(用于 KV Cache 续写)
forward.outputs[0] shape [1, 151936],dtype float32 输出:整个词表上的 logits 分数
get_bos_id 151644 句首(BOS)特殊 token ID,对应 ``
get_eos_ids [151645, 151643] 句尾(EOS)token ID,对应 `
登录后查看全文
Qwen3-ExecuTorch