从1B到3B怎么选?HyLo模型家族15款模型横评(以HyLo-Llama-6MLA22GDN-64K-SFT为中心)
从1B到3B怎么选?HyLo模型家族15款模型横评(以HyLo-Llama-6MLA22GDN-64K-SFT为中心)
HyLo模型家族是AMD推出的混合架构长文本大模型系列,它把Llama、Qwen等预训练模型"改造"成MLA注意力+线性注意力的混合架构,在最长64K上下文下把KV Cache压缩到基座的2%。本文以 HyLo-Llama-6MLA22GDN-64K-SFT 为中心,从参数规模(1B / 1.7B / 3B)、上下文长度(8K / 64K)、KV Cache占用三个维度横评家族15款模型,帮你回答一个核心问题:从1B到3B到底怎么选?
🔍 一、HyLo 是什么:不重训、把"老模型"改造成省内存的混合架构
普通Transformer的KV Cache会随上下文长度线性膨胀,长文本场景下显存开销巨大。HyLo的思路叫 Upcycling(升级改造):不从头预训练,而是把已有预训练模型的每一层"改造"成两种类型之一(详见 README.md):
| 层类型 | 工作机制 | KV Cache |
|---|---|---|
| MLA(Multi-head Latent Attention) | 保留完整注意力,但只缓存低秩潜变量,而非完整的K/V | 大幅缩小 |
| Gated DeltaNet(线性块) | 维持固定大小的循环状态,不随上下文增长 | 为零 |
本文主角 HyLo-Llama-6MLA22GDN-64K-SFT 就是把 Llama-3.2-3B-Instruct 升级改造为 6层MLA + 22层Gated DeltaNet 的混合模型(共28层、4.27B参数),再以 Llama-3.1-8B-Instruct 为教师模型做蒸馏,最终在 65,536 token(64K)上下文下完成监督微调——总KV Cache仅为基座模型的 2.0%。
💡 关键设计:MLA层不是均匀分布,而是按位置精准布置在基座对"失去完整注意力"最敏感的地方(层索引
<a href="https://link.gitcode.com/i/12a49127d7ae0ea9009513bd557a8e36" target="_blank">0, 5, 10, 16, 21, 26]),具体布局记录在 [hybrid_config.json 中。
📋 二、HyLo家族模型一览表:命名规则一次看懂
HyLo家族目前公开了14款SFT检查点(加上同系列迭代共15款,家族完整清单见 README.md)。命名规则非常好记:
HyLo-基座-「N1」MLA「N2」GDN-「训练上下文」-SFT 例如
6MLA22GDN-64K= 6层MLA + 22层Gated DeltaNet + 64K训练上下文
| 模型 | 基座 | 线性块 | 训练上下文 | KV Cache |
|---|---|---|---|---|
| HyLo-Llama-4MLA12GDN-8K-SFT | Llama-3.2-1B-Instruct | Gated DeltaNet | 8K | 3.9% |
| HyLo-Llama-4MLA12GDN-64K-SFT | Llama-3.2-1B-Instruct | Gated DeltaNet | 64K | 3.9% |
| HyLo-Llama-8MLA8GDN-8K-SFT | Llama-3.2-1B-Instruct | Gated DeltaNet | 8K | 7.8% |
| HyLo-Llama-8MLA8GDN-64K-SFT | Llama-3.2-1B-Instruct | Gated DeltaNet | 64K | 7.8% |
| HyLo-Llama-6MLA22GDN-8K-SFT | Llama-3.2-3B-Instruct | Gated DeltaNet | 8K | 2.0% |
| HyLo-Llama-6MLA22GDN-64K-SFT(本文主角) | Llama-3.2-3B-Instruct | Gated DeltaNet | 64K | 2.0% |
| HyLo-Llama-14MLA14GDN-8K-SFT | Llama-3.2-3B-Instruct | Gated DeltaNet | 8K | 4.7% |
| HyLo-Llama-14MLA14GDN-64K-SFT | Llama-3.2-3B-Instruct | Gated DeltaNet | 64K | 4.7% |
| HyLo-Qwen-7MLA21GDN-8K-SFT | Qwen3-1.7B | Gated DeltaNet | 8K | 3.9% |
| HyLo-Qwen-7MLA21GDN-64K-SFT | Qwen3-1.7B | Gated DeltaNet | 64K | 3.9% |
| HyLo-Qwen-14MLA14GDN-8K-SFT | Qwen3-1.7B | Gated DeltaNet | 8K | 7.8% |
| HyLo-Qwen-14MLA14GDN-64K-SFT | Qwen3-1.7B | Gated DeltaNet | 64K | 7.8% |
| HyLo-Qwen-14MLA14M2-8K-SFT | Qwen3-1.7B | Mamba-2 | 8K | 7.8% |
| HyLo-Qwen-14MLA14M2-64K-SFT | Qwen3-1.7B | Mamba-2 | 64K | 7.8% |
看懂这张表你就抓住了家族的全部设计空间:
- 三个基座规模:Llama-3.2-1B(轻量)、Qwen3-1.7B(均衡)、Llama-3.2-3B(能力最强)
- MLA层占比决定KV Cache:MLA层越多,保留的完整注意力越多,但KV Cache占比越高(2.0% → 4.7% → 7.8%)
- 8K vs 64K:同一架构的两个版本,只差训练上下文长度
⚙️ 三、主角解析:HyLo-Llama-6MLA22GDN-64K-SFT 核心参数
| 项目 | 参数 |
|---|---|
| 基座模型 | Llama-3.2-3B-Instruct |
| 蒸馏教师 | Llama-3.1-8B-Instruct |
| 层数结构 | 28层(6 MLA + 22 Gated DeltaNet) |
| 参数量 | 4.27B |
| KV Cache | 基座的 2.0%(全家族最低) |
| 训练上下文 | 65,536 tokens(YaRN外推,factor 32.0) |
| 训练硬件 | 8x AMD Instinct MI300X(FSDP) |
| 检查点精度 | float32存储,建议以 bfloat16 加载 |
架构细节:MLA部分采用 KV潜变量秩128、24个注意力头;Gated DeltaNet部分为9个头、头维度256(完整数值见 hybrid_config.json)。基础配置 config.json 中 max_position_embeddings 为131072,但请注意——官方支持的上下文上限是65,536 token,超过该长度的质量未被论文测量和承诺(详见 README.md)。
📊 四、实测跑分:长文本能力到底怎么样?
以下数据来自论文Table 3(0-shot,lm-evaluation-harness评测),完整榜单见 README.md:
常识推理(平均 57.2)
| 任务 | 得分 | 任务 | 得分 |
|---|---|---|---|
| ARC-Challenge | 43.7 | PIQA | 75.9 |
| ARC-Easy | 69.5 | RACE | 39.8 |
| HellaSwag | 67.9 | WinoGrande | 64.9 |
| OpenBookQA | 38.6 | 平均 | 57.2 |
长文本 RULER(全部13项任务)
| 上下文长度 | 8K | 16K | 32K | 64K |
|---|---|---|---|---|
| 得分 | 68.2 | 62.1 | 55.7 | 46.3 |
数学方面 GSM8K 得分 56.0。
✅ 解读:从8K到64K,得分虽有自然衰减,但64K仍保持46.3的可用水平——这正是"长文本感知升级改造"的价值:一个4.27B、KV Cache仅2%的模型,在64K上保持了可接受的检索与推理能力,而基座Llama-3.2-3B本身并不具备这种长上下文能力。
🎯 五、从1B到3B怎么选:HyLo模型选型指南
选型只需回答三个问题:要什么上下文?设备显存多少?要多强的通用能力?
第一步:上下文长度决定后缀
- 对话、代码补全等短任务 → 选 8K 版本(更省训练成本,短上下文精度保留更好)
- 长文档问答、代码库理解 → 选 64K 版本
第二步:MLA层数决定显存
MLA层越少,KV Cache越低,长文本并发吞吐越高,但通用能力略有折损:
| 档位 | KV Cache | 代表型号(64K) | 适合场景 |
|---|---|---|---|
| 极致省显存 | 2.0% | HyLo-Llama-6MLA22GDN-64K-SFT | 64K长文本、高并发服务 |
| 均衡 | 3.9% | HyLo-Llama-4MLA12GDN-64K-SFT / HyLo-Qwen-7MLA21GDN-64K-SFT | 显存与能力折中 |
| 保留更多注意力 | 7.8% | HyLo-Llama-8MLA8GDN-64K-SFT / HyLo-Qwen-14MLA14GDN-64K-SFT | 对通用能力要求更高 |
第三步:基座规模决定能力上限
| 需求 | 推荐 | 理由 |
|---|---|---|
| 边缘设备、毫秒级响应 | 1B档(Llama-3.2-1B基座) | 最小最快,KV Cache 3.9%起 |
| 中文/多语言均衡体验 | 1.7B档(Qwen3-1.7B基座) | 参数量居中,Qwen基座中文更强 |
| 64K长文本主力模型 | 3B档 HyLo-Llama-6MLA22GDN-64K-SFT | 全家族KV Cache最低(2%)+ 最强基座 + 教师蒸馏 |
💡 一句话结论:如果你只部署一个模型,且场景是"长文档 + 有限显存",直接选 HyLo-Llama-6MLA22GDN-64K-SFT——它是家族中KV Cache最低、基座最强、上下文最长的组合。若显存极其紧张,退到1B档的
HyLo-Llama-4MLA12GDN-64K-SFT。
🚀 六、快速上手:HyLo模型部署三步走
由于混合层类型(MLA/Gated DeltaNet)不在 transformers 内置架构中,AutoModelForCausalLM 无法直接加载,需要先用AMD官方的 hybrid-models 运行库(具体步骤见 README.md 的 Usage 章节)。
1️⃣ 获取模型
git clone https://gitcode.com/hf_mirrors/amd/HyLo-Llama-6MLA22GDN-64K-SFT
2️⃣ 以 bfloat16 加载(检查点为float32存储,bf16加载与论文评测精度一致,且显存减半)
import torch
from transformers import AutoTokenizer
from hybrid.hybrid_wrapper import HybridModelWrapper
checkpoint = "amd/HyLo-Llama-6MLA22GDN-64K-SFT"
model = HybridModelWrapper.from_pretrained(checkpoint, torch_dtype=torch.bfloat16).cuda()
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
3️⃣ 限制最大长度:在vLLM等服务框架中显式设置 --max-model-len 65536,不要沿用配置中的131072。完整示例代码见 README.md。
⚠️ 七、使用注意事项与限制
- 仅限研究用途:元数据虽标注
apache-2.0,但 LICENSE 文件是AMD的 RESEARCH-ONLY RAIL-MS 许可,且部分训练数据为非商业许可,商用前务必自行确认(README.md) - 未做安全对齐:这是支持论文的研究产物,输出可能包含事实错误或偏见,对外服务前需自行加安全护栏
- 上下文硬上限:提示词请控制在 65,536 token 以内
- 必须使用仓库自带的聊天模板 chat_template.jinja:它是训练时使用的模板,与基座模型的不完全相同
- 评测覆盖面:论文仅报告常识推理、RULER长文本与GSM8K,未提供多语言、代码、安全与长指令遵循评测
- 分词器与特殊token见 tokenizer.json、special_tokens_map.json,模型权重文件为 model.safetensors
写在最后
HyLo证明了"混合架构"可以像换引擎一样给老模型升级:不用重新预训练,就能让3B模型在64K长文本上跑出KV Cache仅2%的长上下文表现。从1B到3B的选型,本质上是在速度、显存与能力之间画一条线——1B档跑得快、Qwen 1.7B档均衡、而 HyLo-Llama-6MLA22GDN-64K-SFT 则是长文本场景下的最优解。
📚 本文数据与结论均整理自模型仓库 README.md 及论文《Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling》(arXiv:2604.24715),引用信息见 README.md。