从1B到3B怎么选?HyLo模型家族15款模型横评(以HyLo-Llama-6MLA22GDN-64K-SFT为中心)

原创2026-10-18 13:30:212,127 阅读

从1B到3B怎么选?HyLo模型家族15款模型横评(以HyLo-Llama-6MLA22GDN-64K-SFT为中心)

HyLo模型家族是AMD推出的混合架构长文本大模型系列,它把Llama、Qwen等预训练模型"改造"成MLA注意力+线性注意力的混合架构,在最长64K上下文下把KV Cache压缩到基座的2%。本文以 HyLo-Llama-6MLA22GDN-64K-SFT 为中心,从参数规模(1B / 1.7B / 3B)、上下文长度(8K / 64K)、KV Cache占用三个维度横评家族15款模型,帮你回答一个核心问题:从1B到3B到底怎么选?

🔍 一、HyLo 是什么:不重训、把"老模型"改造成省内存的混合架构

普通Transformer的KV Cache会随上下文长度线性膨胀,长文本场景下显存开销巨大。HyLo的思路叫 Upcycling(升级改造):不从头预训练,而是把已有预训练模型的每一层"改造"成两种类型之一(详见 README.md):

层类型 工作机制 KV Cache
MLA(Multi-head Latent Attention) 保留完整注意力,但只缓存低秩潜变量,而非完整的K/V 大幅缩小
Gated DeltaNet(线性块) 维持固定大小的循环状态,不随上下文增长 为零

本文主角 HyLo-Llama-6MLA22GDN-64K-SFT 就是把 Llama-3.2-3B-Instruct 升级改造为 6层MLA + 22层Gated DeltaNet 的混合模型(共28层、4.27B参数),再以 Llama-3.1-8B-Instruct 为教师模型做蒸馏,最终在 65,536 token(64K)上下文下完成监督微调——总KV Cache仅为基座模型的 2.0%。

💡 关键设计:MLA层不是均匀分布,而是按位置精准布置在基座对"失去完整注意力"最敏感的地方(层索引 <a href="https://link.gitcode.com/i/12a49127d7ae0ea9009513bd557a8e36" target="_blank">0, 5, 10, 16, 21, 26]),具体布局记录在 [hybrid_config.json 中。

📋 二、HyLo家族模型一览表:命名规则一次看懂

HyLo家族目前公开了14款SFT检查点(加上同系列迭代共15款,家族完整清单见 README.md)。命名规则非常好记:

HyLo-基座-「N1」MLA「N2」GDN-「训练上下文」-SFT 例如 6MLA22GDN-64K = 6层MLA + 22层Gated DeltaNet + 64K训练上下文

模型 基座 线性块 训练上下文 KV Cache
HyLo-Llama-4MLA12GDN-8K-SFT Llama-3.2-1B-Instruct Gated DeltaNet 8K 3.9%
HyLo-Llama-4MLA12GDN-64K-SFT Llama-3.2-1B-Instruct Gated DeltaNet 64K 3.9%
HyLo-Llama-8MLA8GDN-8K-SFT Llama-3.2-1B-Instruct Gated DeltaNet 8K 7.8%
HyLo-Llama-8MLA8GDN-64K-SFT Llama-3.2-1B-Instruct Gated DeltaNet 64K 7.8%
HyLo-Llama-6MLA22GDN-8K-SFT Llama-3.2-3B-Instruct Gated DeltaNet 8K 2.0%
HyLo-Llama-6MLA22GDN-64K-SFT(本文主角) Llama-3.2-3B-Instruct Gated DeltaNet 64K 2.0%
HyLo-Llama-14MLA14GDN-8K-SFT Llama-3.2-3B-Instruct Gated DeltaNet 8K 4.7%
HyLo-Llama-14MLA14GDN-64K-SFT Llama-3.2-3B-Instruct Gated DeltaNet 64K 4.7%
HyLo-Qwen-7MLA21GDN-8K-SFT Qwen3-1.7B Gated DeltaNet 8K 3.9%
HyLo-Qwen-7MLA21GDN-64K-SFT Qwen3-1.7B Gated DeltaNet 64K 3.9%
HyLo-Qwen-14MLA14GDN-8K-SFT Qwen3-1.7B Gated DeltaNet 8K 7.8%
HyLo-Qwen-14MLA14GDN-64K-SFT Qwen3-1.7B Gated DeltaNet 64K 7.8%
HyLo-Qwen-14MLA14M2-8K-SFT Qwen3-1.7B Mamba-2 8K 7.8%
HyLo-Qwen-14MLA14M2-64K-SFT Qwen3-1.7B Mamba-2 64K 7.8%

看懂这张表你就抓住了家族的全部设计空间:

  • 三个基座规模:Llama-3.2-1B(轻量)、Qwen3-1.7B(均衡)、Llama-3.2-3B(能力最强)
  • MLA层占比决定KV Cache:MLA层越多,保留的完整注意力越多,但KV Cache占比越高(2.0% → 4.7% → 7.8%)
  • 8K vs 64K:同一架构的两个版本,只差训练上下文长度

⚙️ 三、主角解析:HyLo-Llama-6MLA22GDN-64K-SFT 核心参数

项目 参数
基座模型 Llama-3.2-3B-Instruct
蒸馏教师 Llama-3.1-8B-Instruct
层数结构 28层(6 MLA + 22 Gated DeltaNet)
参数量 4.27B
KV Cache 基座的 2.0%(全家族最低)
训练上下文 65,536 tokens(YaRN外推,factor 32.0)
训练硬件 8x AMD Instinct MI300X(FSDP)
检查点精度 float32存储,建议以 bfloat16 加载

架构细节:MLA部分采用 KV潜变量秩128、24个注意力头;Gated DeltaNet部分为9个头、头维度256(完整数值见 hybrid_config.json)。基础配置 config.json 中 max_position_embeddings 为131072,但请注意——官方支持的上下文上限是65,536 token,超过该长度的质量未被论文测量和承诺(详见 README.md)。

📊 四、实测跑分:长文本能力到底怎么样?

以下数据来自论文Table 3(0-shot,lm-evaluation-harness评测),完整榜单见 README.md:

常识推理(平均 57.2)

任务 得分 任务 得分
ARC-Challenge 43.7 PIQA 75.9
ARC-Easy 69.5 RACE 39.8
HellaSwag 67.9 WinoGrande 64.9
OpenBookQA 38.6 平均 57.2

长文本 RULER(全部13项任务)

上下文长度 8K 16K 32K 64K
得分 68.2 62.1 55.7 46.3

数学方面 GSM8K 得分 56.0。

✅ 解读:从8K到64K,得分虽有自然衰减,但64K仍保持46.3的可用水平——这正是"长文本感知升级改造"的价值:一个4.27B、KV Cache仅2%的模型,在64K上保持了可接受的检索与推理能力,而基座Llama-3.2-3B本身并不具备这种长上下文能力。

🎯 五、从1B到3B怎么选:HyLo模型选型指南

选型只需回答三个问题:要什么上下文?设备显存多少?要多强的通用能力?

第一步:上下文长度决定后缀

  • 对话、代码补全等短任务 → 选 8K 版本(更省训练成本,短上下文精度保留更好)
  • 长文档问答、代码库理解 → 选 64K 版本

第二步:MLA层数决定显存

MLA层越少,KV Cache越低,长文本并发吞吐越高,但通用能力略有折损:

档位 KV Cache 代表型号(64K) 适合场景
极致省显存 2.0% HyLo-Llama-6MLA22GDN-64K-SFT 64K长文本、高并发服务
均衡 3.9% HyLo-Llama-4MLA12GDN-64K-SFT / HyLo-Qwen-7MLA21GDN-64K-SFT 显存与能力折中
保留更多注意力 7.8% HyLo-Llama-8MLA8GDN-64K-SFT / HyLo-Qwen-14MLA14GDN-64K-SFT 对通用能力要求更高

第三步:基座规模决定能力上限

需求 推荐 理由
边缘设备、毫秒级响应 1B档(Llama-3.2-1B基座) 最小最快,KV Cache 3.9%起
中文/多语言均衡体验 1.7B档(Qwen3-1.7B基座) 参数量居中,Qwen基座中文更强
64K长文本主力模型 3B档 HyLo-Llama-6MLA22GDN-64K-SFT 全家族KV Cache最低(2%)+ 最强基座 + 教师蒸馏

💡 一句话结论:如果你只部署一个模型,且场景是"长文档 + 有限显存",直接选 HyLo-Llama-6MLA22GDN-64K-SFT——它是家族中KV Cache最低、基座最强、上下文最长的组合。若显存极其紧张,退到1B档的 HyLo-Llama-4MLA12GDN-64K-SFT。

🚀 六、快速上手:HyLo模型部署三步走

由于混合层类型(MLA/Gated DeltaNet)不在 transformers 内置架构中,AutoModelForCausalLM 无法直接加载,需要先用AMD官方的 hybrid-models 运行库(具体步骤见 README.md 的 Usage 章节)。

1️⃣ 获取模型

git clone https://gitcode.com/hf_mirrors/amd/HyLo-Llama-6MLA22GDN-64K-SFT

2️⃣ 以 bfloat16 加载(检查点为float32存储,bf16加载与论文评测精度一致,且显存减半)

import torch
from transformers import AutoTokenizer
from hybrid.hybrid_wrapper import HybridModelWrapper

checkpoint = "amd/HyLo-Llama-6MLA22GDN-64K-SFT"
model = HybridModelWrapper.from_pretrained(checkpoint, torch_dtype=torch.bfloat16).cuda()
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

3️⃣ 限制最大长度:在vLLM等服务框架中显式设置 --max-model-len 65536,不要沿用配置中的131072。完整示例代码见 README.md。

⚠️ 七、使用注意事项与限制

  • 仅限研究用途:元数据虽标注 apache-2.0,但 LICENSE 文件是AMD的 RESEARCH-ONLY RAIL-MS 许可,且部分训练数据为非商业许可,商用前务必自行确认(README.md)
  • 未做安全对齐:这是支持论文的研究产物,输出可能包含事实错误或偏见,对外服务前需自行加安全护栏
  • 上下文硬上限:提示词请控制在 65,536 token 以内
  • 必须使用仓库自带的聊天模板 chat_template.jinja:它是训练时使用的模板,与基座模型的不完全相同
  • 评测覆盖面:论文仅报告常识推理、RULER长文本与GSM8K,未提供多语言、代码、安全与长指令遵循评测
  • 分词器与特殊token见 tokenizer.json、special_tokens_map.json,模型权重文件为 model.safetensors

写在最后

HyLo证明了"混合架构"可以像换引擎一样给老模型升级:不用重新预训练,就能让3B模型在64K长文本上跑出KV Cache仅2%的长上下文表现。从1B到3B的选型,本质上是在速度、显存与能力之间画一条线——1B档跑得快、Qwen 1.7B档均衡、而 HyLo-Llama-6MLA22GDN-64K-SFT 则是长文本场景下的最优解。

📚 本文数据与结论均整理自模型仓库 README.md 及论文《Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling》(arXiv:2604.24715),引用信息见 README.md。

登录后查看全文
HyLo-Llama-6MLA22GDN-64K-SFT