HyLo家族14款混合模型横评:如何基于HyLo-Llama-14MLA14GDN-8K-SFT选型8K还是64K?

原创2026-10-21 19:06:471,749 阅读

HyLo家族14款混合模型横评:如何基于HyLo-Llama-14MLA14GDN-8K-SFT选型8K还是64K?

HyLo-Llama-14MLA14GDN-8K-SFT 是 AMD HyLo 家族 14 款混合模型之一:它把 Llama-3.2-3B-Instruct 升级改造为 14 层 MLA + 14 层 Gated DeltaNet 的混合架构,KV 缓存仅为基础模型的 4.7%。本文横评 HyLo 家族全部 14 款模型,并给出 8K 与 64K 的完整选型指南,帮你三分钟做出正确决策。

什么是 HyLo-Llama-14MLA14GDN-8K-SFT?

一句话理解:HyLo 不需要从头预训练,而是把现成的 Transformer "升级改造"成混合架构——一半层保留注意力(升级为 MLA),另一半层换成线性递归块(Gated DeltaNet),从而大幅压缩长文本的 KV 缓存开销。

关键指标 数值
基础模型 Llama-3.2-3B-Instruct
蒸馏教师模型 Llama-3.1-8B-Instruct
层数 28 层(14 层 MLA + 14 层 Gated DeltaNet)
参数量 3.97B
KV 缓存 基础模型的 4.7%
训练上下文长度 8,192 tokens(8K)
权重精度 float32 存储,建议以 bfloat16 加载

两个核心概念,新手只要记住这两点:

  • MLA(多头潜在注意力):保留注意力能力,但缓存低秩潜在向量而不是完整的 K/V,省内存;
  • Gated DeltaNet(线性块):用固定大小的递归状态替代不断增长的 KV 缓存,这些层完全不产生 KV 缓存。

层的位置不是简单交替,而是按敏感度放置:MLA 层在偶数索引(0、2、4…26),GDN 层在奇数索引(1、3、5…27),详见 hybrid_config.json 与 README.md。混合配置由 hybrid_config.json 定义,而 config.json 只是基础模型的参考配置。

HyLo 家族 14 款模型对比表 📊

家族命名规律非常直观:基础模型 + MLA层数 + 线性层数 + 训练长度(GDN = Gated DeltaNet,M2 = Mamba-2)。

模型 基础模型 线性块类型 训练上下文 KV 缓存
HyLo-Llama-4MLA12GDN-8K-SFT Llama-3.2-1B GDN 8K 3.9%
HyLo-Llama-4MLA12GDN-64K-SFT Llama-3.2-1B GDN 64K 3.9%
HyLo-Llama-8MLA8GDN-8K-SFT Llama-3.2-1B GDN 8K 7.8%
HyLo-Llama-8MLA8GDN-64K-SFT Llama-3.2-1B GDN 64K 7.8%
HyLo-Llama-6MLA22GDN-8K-SFT Llama-3.2-3B GDN 8K 2.0%
HyLo-Llama-6MLA22GDN-64K-SFT Llama-3.2-3B GDN 64K 2.0%
HyLo-Llama-14MLA14GDN-8K-SFT(本文主角) Llama-3.2-3B GDN 8K 4.7%
HyLo-Llama-14MLA14GDN-64K-SFT Llama-3.2-3B GDN 64K 4.7%
HyLo-Qwen-7MLA21GDN-8K-SFT Qwen3-1.7B GDN 8K 3.9%
HyLo-Qwen-7MLA21GDN-64K-SFT Qwen3-1.7B GDN 64K 3.9%
HyLo-Qwen-14MLA14GDN-8K-SFT Qwen3-1.7B GDN 8K 7.8%
HyLo-Qwen-14MLA14GDN-64K-SFT Qwen3-1.7B GDN 64K 7.8%
HyLo-Qwen-14MLA14M2-8K-SFT Qwen3-1.7B Mamba-2 8K 7.8%
HyLo-Qwen-14MLA14M2-64K-SFT Qwen3-1.7B Mamba-2 64K 7.8%

完整名单见 README.md。

💡 横向解读三个规律:

  1. GDN 层越多,KV 缓存越低:6MLA22GDN 仅 2.0%,而 8MLA8GDN 达 7.8%——注意力层是缓存开销的主要来源;
  2. 本文主角 14MLA14GDN 属于"均衡型":28 层中保留一半 MLA 注意力层,能力与压缩率平衡较好,适合通用场景;
  3. 8K 与 64K 是两个独立训练的兄弟模型,同一配方、不同训练长度,并非同一个模型换个参数——这一点是选型的核心前提。

8K vs 64K 选型指南:到底该选哪个?

先搞清楚 8,192 tokens 有多长

8,192 tokens 大约可容纳 4,000~8,000 字中英文混合文本,或一份 5~8 页的常规文档。如果你的业务场景都装得下,8K 版就够了。

为什么不能直接用 8K 模型跑 64K 长文?

RULER 基准(13 项长上下文任务的综合分)给出了非常直观的答案:

测试长度 RULER 得分 状态
8K 71.1 ✅ 训练长度内,最佳状态
16K 45.6 ⚠️ 超出训练范围,明显下滑
32K 19.2 ❌ 大幅衰减
64K 0.2 ❌ 基本不可用

数据来自 README.md。结论清晰:一旦需要 16K 以上上下文,请直接选用 64K 兄弟模型,硬拉 8K 模型只会得到崩坏的质量。

⚠️ 严谨起见:论文中 HyLo-Llama 与 HyLo-Qwen 两个 8K 模型的 RULER 四行数值完全相同,README 提示该行可能为重复数据,建议视为"未完全确认",但衰减趋势本身符合"超出训练长度即退化"的普遍规律。

KV 缓存内存占用对比(理论估算)

以单条序列、bfloat16 计,按 README 给出的 4.7% 缓存比例折算:

模型 每 token 缓存 8K 窗口满负荷 64K 窗口满负荷
基础 Llama-3.2-3B(纯注意力) ≈112 KB ≈0.9 GB ≈7.1 GB
HyLo-Llama-14MLA14GDN(8K/64K 版) ≈5.3 KB ≈43 MB ≈337 MB

即使跑满 64K 窗口,混合模型的缓存占用也只有基础纯注意力模型的零头——这就是混合架构的价值所在。

一页纸选型速查表

✅ 选 8K 版(HyLo-Llama-14MLA14GDN-8K-SFT),如果:

  • 所有任务的"提示 + 输出"都在 8,192 tokens 以内;
  • 场景是短问答、客服对话、短文档摘要、代码片段补全;
  • 希望部署内存占用最小、服务窗口最简洁。

✅ 选 64K 兄弟版(HyLo-Llama-14MLA14GDN-64K-SFT),如果:

  • 需要处理长报告、合同、书籍章节、大型代码库等长文档;
  • 提示词经常超过 16K tokens;
  • 不能接受长文本任务下的质量衰减。

⚠️ 两个容易踩的坑:

  1. 部署时务必显式设置最大长度,例如 --max-model-len 8192。配置文件里的 max_position_embeddings=131072 是从基础模型继承的(见 config.json),并不是本检查点支持的上下文长度,8K 模型在 8,192 tokens 之外的质量未经测量,也不作任何保证;
  2. 不要试图"用 8K 模型开 64K"——两个长度是各自训练、各自评估的独立检查点。

基准测试性能一览 🚀

基准 得分 说明
常识推理 7 项平均(ARC、HellaSwag、PIQA 等) 59.2 0-shot
GSM8K(数学) 68.2 数学推理能力尚可
RULER @8K(长上下文) 71.1 训练长度内的长文本能力

详细分项数据见 README.md。

快速上手:3 步跑通 HyLo 混合模型

第 1 步:准备运行环境。 混合层类型尚未被 transformers 官方支持,AutoModelForCausalLM 无法直接加载。需要先获取 AMD 官方的混合模型代码库(AMD-Hybrid-Models),并安装其 HyLo 目录下的依赖。

第 2 步:以 bfloat16 加载模型。 检查点以 float32 存储,直接按 bfloat16 加载即可省一半显存,且评估数据正是基于 bfloat16 测得:

import torch
from transformers import AutoTokenizer
from hybrid.hybrid_wrapper import HybridModelWrapper

checkpoint = "amd/HyLo-Llama-14MLA14GDN-8K-SFT"
model = HybridModelWrapper.from_pretrained(checkpoint, torch_dtype=torch.bfloat16).cuda()
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

第 3 步:使用仓库自带的对话模板。 务必使用 chat_template.jinja——这是模型训练时使用的模板,与基础模型并不完全相同;同时把提示词控制在 8,192 tokens 以内。

注意事项:研究用途、许可与局限 ⚠️

  • 这是研究产物:该模型为支撑论文(Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling,arXiv:2604.24715)发布,未做安全对齐,不建议直接用于生产环境;
  • 许可按研究用途对待:仓库 LICENSE 为 AMD 研究专用 RAIL-MS 许可,且部分训练数据为非商用许可,商用前请自行确认合规;
  • 能力与偏见继承自基础模型和教师模型,输出可能事实性错误,对外暴露前需自行加防护;
  • 训练配方依赖强教师模型(Llama-3.1-8B-Instruct 做蒸馏),若你想复刻该流程,教师模型本身也是一笔成本;
  • 评估覆盖有限:官方只报告了上文所列基准,没有多语言、代码、安全或长文指令跟随的评估数据。

相关文件索引 📁

文件 说明
README.md 完整文档:架构、训练两阶段(Enhanced-ILD + 长上下文 SFT 蒸馏)、评估、用法、家族清单
hybrid_config.json 混合架构配置:MLA/GDN 层分布、MLA 维度、YaRN 位置缩放(factor 4.0,2048 → 8192)
config.json 基础 Llama 模型参考配置
chat_template.jinja 训练所用对话模板(部署时必须使用)
LICENSE AMD 研究专用 RAIL-MS 许可
model.safetensors 模型权重(float32 存储)
tokenizer.json、tokenizer_config.json、special_tokens_map.json 分词器与特殊 token 定义

最后总结:任务装得进 8K 就选 8K 版,追求轻量与快速部署;要啃长文档就上 64K 兄弟版,别指望 8K 模型超纲发挥——RULER 从 71.1 跌到 0.2 的曲线已经说明了一切。

登录后查看全文
HyLo-Llama-14MLA14GDN-8K-SFT