tiny-random-hunyuan-v1-dense 对比官方 Hunyuan-Dense V1:2层小模型的架构映射关系全解
tiny-random-hunyuan-v1-dense 对比官方 Hunyuan-Dense V1:2层小模型的架构映射关系全解
tiny-random-hunyuan-v1-dense 是官方 Hunyuan-Dense V1 大模型的一个"迷你版":同样的 dense Transformer 架构、同样的参数名,只保留了 2 层隐藏层和 300 个词表,随机初始化权重,整个模型权重仅约 450 KB。它的存在只有一个目的——让开发者和测试框架用毫秒级的速度验证模型加载、推理与转换流程,而不必下载数十 GB 的官方大模型。本文带你逐项对照两者的架构参数,弄清这个 tiny 测试模型与官方 Hunyuan-Dense V1 之间的完整映射关系。
它是什么:一个为测试而生的 tiny 模型
tiny-random-hunyuan-v1-dense 属于 optimum-intel-internal-testing 系列测试模型,命名里的三个关键词就是它的身份证:
- tiny:参数规模被压缩到最小,秒级即可完成前向推理
- random:权重是随机初始化的(
initializer_range: 0.02),模型输出无实际语义,不能用于真实任务 - hunyuan-v1-dense:架构与官方 Hunyuan-Dense V1 完全同构,
model_type均为hunyuan_v1_dense
仓库文件极简,一共 7 个文件:
| 文件 | 作用 |
|---|---|
| config.json | 模型架构配置,架构映射关系全在这里 |
| model.safetensors | 随机权重(LFS 托管,约 450 KB) |
| tokenizer.json / tokenizer_config.json | BPE 分词器(词表仅 300) |
| special_tokens_map.json | 特殊 token 定义 |
| generation_config.json | 生成参数(bos/eos/pad id) |
💡 想本地复现它的创建过程,README.md 中附有一段完整的构建脚本:基于
HunYuanDenseV1Config构建配置 →AutoModelForCausalLM.from_config生成模型 →save_pretrained保存,非常适合作为学习 Transformers 模型保存机制的样例。
架构映射关系全解:逐项对照官方模型
config.json 中每一个参数都能在官方 Hunyuan-Dense V1 配置中找到一一对应的同名键,架构骨架 100% 一致,唯一区别是"尺寸"。核心映射关系如下:
| 参数 | tiny 模型取值 | 官方 Hunyuan-Dense V1 | 说明 |
|---|---|---|---|
model_type |
hunyuan_v1_dense |
hunyuan_v1_dense |
架构标识完全一致 |
architectures |
HunYuanDenseV1ForCausalLM |
HunYuanDenseV1ForCausalLM |
同一模型类 |
num_hidden_layers |
2 | 数十层(全尺寸) | 层数大幅缩减,这是"tiny"的核心 |
hidden_size |
64 | 数千维 | 隐藏层宽度缩到极小 |
intermediate_size |
128 | 数千维 | FFN 中间层保持约 2 倍于 hidden_size 的常见比例 |
num_attention_heads |
4 | 数十个 | 注意力头数量缩减 |
num_key_value_heads |
2 | 少于 query 头数 | GQA(分组 KV 注意力),与官方一致 |
head_dim |
16 | 64 | 每个注意力头的维度 |
max_position_embeddings |
128 | 数千 | 支持的最大上下文长度 |
vocab_size |
300 | 数万 | 词表大幅裁剪,仅够测试编码链路 |
rope_theta |
10000.0 | 10000.0 | RoPE 位置编码,取值一致 |
rms_norm_eps |
1e-05 | 1e-05 | RMSNorm 数值,一致 |
hidden_act |
silu |
silu |
激活函数一致 |
几个值得注意的细节:
- 架构同构、尺度不同:
rope_theta、rms_norm_eps、hidden_act这类"结构性"参数两边完全相同,说明 tiny 模型只是把维度数字缩小,并没有改架构逻辑 - GQA 比例被刻意保留:官方模型使用分组查询注意力(
num_key_value_heads < num_attention_heads),tiny 模型同样保持 4:2 的比例,这样测试代码能真实覆盖 GQA 的代码路径 use_qk_norm: true:启用了 Q/K 归一化,与 Hunyuan 系列的注意力设计一致
相关参数可直接在 config.json 中核对。
分词器与特殊 token:同样被"微缩"
token 链路也做了同构的微缩:
- 分词器使用 ByteLevel BPE(见 tokenizer.json),与真实模型的分词方案同类型,但词表从数万项裁到 300 项
- 4 个特殊 token 完整保留:
<pad>(id 0)、<s>(id 1)、</s>(id 2)、<unk>(id 3),定义见 special_tokens_map.json - generation_config.json 中的
bos/eos/padid 与上述定义一一对应,可直接驱动generate()的完整流程 model_max_length设为 128,与max_position_embeddings对齐
适合什么场景:快速定位你的测试需求
tiny-random-hunyuan-v1-dense 不适合作为推理服务,但以下场景它几乎是"唯一选择":
- 框架兼容性测试:验证 Transformers / Optimum 新版本的
HunYuanDenseV1ForCausalLM加载、导出、量化流程是否正常 - CI 流水线冒烟测试:450 KB 的权重让测试在 CI 上秒级跑完,无需 GPU
- 架构学习材料:想读懂 Hunyuan-Dense V1 的 config 字段含义?先看这个只有 30 行的 config.json,再去看官方大模型配置会轻松得多
- 转换管线验证:测试 ONNX、OpenVINO 等格式转换脚本时,用小模型快速暴露路径错误
一句话总结:tiny-random-hunyuan-v1-dense = 官方 Hunyuan-Dense V1 架构 × 最小尺寸参数 × 随机权重,架构映射 1:1、体积缩小数百万倍,是理解和测试 Hunyuan dense 系列最高效的"沙盒模型"。