为什么它这么快?LFM3-1.7B三重混合架构全解析:13层卷积+滑动窗口+全局注意力的秘密
为什么它这么快?LFM3-1.7B三重混合架构全解析:13层卷积+滑动窗口+全局注意力的秘密
LFM3-1.7B 是 Liquid AI 基于三重混合架构打造的 1.7B 参数端侧小模型,它将 13 层门控短卷积 + 5 层滑动窗口注意力 + 6 层全局注意力 组合在 24 层网络中,以 4-bit 精度仅需约 1GB 内存、支持 256K token 长上下文。这篇文章带你逐层拆解:它的推理速度到底快在哪里?🔍
一、先认识 LFM3-1.7B:一张表看懂核心规格
在拆解架构之前,先快速了解这个模型的基本盘(详见 README.md):
| 规格项 | 数值 | 对新手意味着什么 |
|---|---|---|
| 参数量 | 1.73B | 4-bit 量化后约 1GB 内存,手机和笔记本都能跑 |
| 层数 | 24 层 | 13 卷积层 + 5 滑动窗口层 + 6 全局注意力层 |
| 上下文长度 | 256K tokens | 可一次性读入数十万字长文档 |
| 词表大小 | 128,000 | 中文、代码、数学符号覆盖更精细 |
| 注意力头 | 16 个 Q 头 / 4 个 KV 头(GQA) | KV 缓存只有普通注意力的 1/4 |
| 推理精度 | 4-bit 约 1GB | 专为"边缘设备"(edge)设计 |
💡 一句话定位:LFM3-1.7B 不是"缩小版大模型",而是一款为本地 Agent、工具调用和领域微调重新设计的推理引擎。
二、为什么这么快?三重混合架构的三重秘密
传统 Transformer 的每一层都在做同一件事:让每个 token 与前面所有 token 做注意力计算。上下文越长,这个"两两比对"的计算量和显存占用就越大——这正是大模型在长文本下又慢又贵的根源。
LFM3-1.7B 的思路完全不同:把 24 层网络拆成三种分工,让昂贵的"全局比对"只发生在极少数层上。在 config.json 的 layer_types 字段里,这种排布写得清清楚楚:
层序: 0 1 2 3 4 5 6 7 ...
类型: conv conv full_attn conv sliding_attn conv full_attn conv ...
规律是:每 4 层出现 1 层全局注意力,每 8 层插入 1 层滑动窗口注意力,其余 13 层全部是短卷积。下面逐个拆解。
秘密 1:13 层短卷积——只"记住"最近 7 个 token
卷积层实现见 modeling_lfm3.py 的 Lfm3ShortConv,其核心参数 conv_L_cache 在 config.json 中被设为 7。
- 局部视野,计算恒定:卷积核宽度只有 7,意味着每一层卷积无论输入多长,每个 token 都只与前后 7 个位置做加权求和。计算量与上下文长度完全无关,永远是最快的。
- 门控机制(gated):卷积前后各有一道"门"(
B * x与C * 卷积输出的逐元素相乘),让模型能学习"哪些局部特征值得保留、哪些该丢弃",表达力远超普通卷积。 - 推理状态极小:解码时每层只需要缓存最近 7 个 token 的状态,几乎不占显存。项目还为宽度 7 的因果卷积写了专用 Triton 推理内核 lfm3_conv.py,在 GPU 上进一步压榨速度。
📌 结论:13 层卷积承担了大部分"局部语言模式"(词法、短语搭配)的学习,且几乎不产生 KV 缓存压力——这是"快"的第一块基石。
秘密 2:5 层滑动窗口注意力——只回看 256 个 token
sliding_attention 层的实现见 modeling_lfm3.py 的 Lfm3Attention,窗口大小由 config.json 中的 sliding_window: 256 控制。
- 每个 token 最多只"回头看" 256 个位置,注意力计算量从 O(n²) 降为固定的 O(256)。
- 它负责捕捉中等距离的依赖:段落内的指代、相邻句子的逻辑衔接。
- 配合 RoPE(
rope_theta仅 10000,见 configuration_lfm3.py),滑窗层的频率特性被刻意"局部化",与长程建模解耦。
📌 结论:滑动窗口层把"中程理解"的成本压到了常数级,是"快"的第二块基石。
秘密 3:6 层全局注意力——长程理解的"战略储备"
如果全是卷积和滑窗,模型就看不到 256 token 之外的事了。于是每隔几层,LFM3-1.7B 就安排一层 full_attention,负责:
- 跨段落、跨文档的长程依赖与全局一致性;
- 256K 上下文的定位与召回能力(RULER 128K 得分 65.56,见 README.md 的 Benchmark 表)。
全局注意力虽然昂贵,但 LFM3-1.7B 用了两个"减负术":
- 只占 6/24 的层数——昂贵的全局计算只发生在 1/4 的层里;
- GQA 分组查询注意力:16 个 Query 头共享 4 个 KV 头(config.json 中
num_key_value_heads: 4),KV 缓存体积直接压缩到 MHA 的 1/4。
此外,全局层采用 partial_rotary_factor: 0.5 的部分旋转 RoPE(见 configuration_lfm3.py),一半维度参与旋转、一半保持静态,是长上下文稳定性的又一细节。
三、架构红利:实测性能数据
混合架构带来的不是理论优雅,而是真金白银的速度。
GPU 高并发推理:单卡 B300 日产 36 亿 token
在单张 NVIDIA B300 上以 1024 并发请求压测时,LFM3-1.7B 的输出吞吐随并发数持续爬升,最高超过 40K tokens/s,达到约 3.6B tokens/天,全程领先 MiniCPM5-2B、Gemma 4 E4B、Qwen3.5-4B 和 Qwen3.5-9B:
端侧推理:预填充快 2.5 倍,解码快 1.8 倍
在 32K 上下文场景下,LFM3-1.7B 在 AMD Ryzen AI Max+ 395、Apple M5 Max、iPhone 17 Pro 三类设备上,prefill(预填充)至少快 2.5 倍、decode(解码)至少快 1.8 倍,同时内存占用最低。原因正是架构本身:
- 13 层卷积 + 5 层 256 滑窗 → 256K 上下文也只需很少的 KV 状态;
- 4-bit 权重约 1GB → 手机端内存不再溢出。
这就是"为什么它这么快"的完整答案:不是把模型做小了,而是把"看多远"分给了三种成本不同的算子。 🚀
四、快之外:22T token 训练配方与四阶段后训练
速度是架构给的,能力是训练给的。LFM3-1.7B 基于 22T token 的预训练数据构建,流程见下图:
- 主预训练:约 15T 网页 + 合成数据,再叠加 3T 代码/数学/科学数据(4K 上下文);
- 中训练(mid-training):3T 精选智能体数据(32K 上下文),并分两阶段把上下文从 128K 扩展到 256K。
后训练则采用"学生 + 多教师"的四阶段配方:
- SFT 监督微调:1.75T token,覆盖对话、推理、工具调用与智能体轨迹;
- 混合强化学习:数学、代码、SQL、结构化输出多领域同时训练,奖励中加入长度惩罚抑制啰嗦;
- MOPD 多领域蒸馏:6 个专家 RL 教师(代码/数学/工具/长上下文/智能体/企业流程)的能力蒸馏回单个学生模型;
- Agentic RL:在真实 Agent 框架中完成从网页浏览到办公任务的全流程训练。
这套训练也解释了它的"性格":IFEval 96.66、BFCL V4 工具调用 71.39——指令遵循和工具调用是它的强项。
五、快速上手:在本地跑起来 LFM3-1.7B
模型文件(model.safetensors)、词表(tokenizer.json)、对话模板(chat_template.jinja)与默认采样参数(generation_config.json:temperature=0.1, top_k=50, repetition_penalty=1.1)都随仓库提供。使用 Transformers 时,官方推荐:
from transformers import pipeline
generator = pipeline(
"text-generation",
model="LiquidAI/LFM3-1.7B",
trust_remote_code=True,
)
架构与模型的对应关系,可在三个文件中对照阅读:
- 架构配置(层类型、窗口大小、卷积宽度):configuration_lfm3.py
- 模型实现(卷积层 / 注意力层 / 解码器块):modeling_lfm3.py
- 宽度 7 卷积的 Triton 推理内核:lfm3_conv.py
部署时可按硬件选择量化版本:BF16 用于 vLLM/SGLang,FP8/NVFP4 用于 GPU 高吞吐,GGUF 用于 llama.cpp、Ollama 与 LM Studio 本地运行。
六、常见问题(FAQ)
Q1:1.7B 参数会不会能力太弱? 官方数据显示它可驱动过去需要 9B 参数才能胜任的 Agent 应用;但知识密集型任务建议搭配检索(RAG),且不建议用于复杂多步推理与大型代码任务。
Q2:"滑动窗口 256"会不会丢长程信息? 不会。滑窗层只负责中程建模,256K 的长程能力由 6 层全局注意力 + 256K 上下文专项训练共同保障,RULER 128K 与 AA-LCR 成绩即为佐证。
Q3:为什么叫"三重混合"(tri-hybrid)? 因为一个网络中同时混合了三种序列建模算子:短卷积、滑动窗口注意力、全局注意力——三者按 13:5:6 的比例分工协作,这正是 LFM3 系列的架构签名。
七、总结
- 快的本质:把"看多远"按成本分档——13 层卷积看 7 个 token、5 层滑窗看 256 个、6 层全局看全部,KV 缓存与计算量大幅缩水;
- 省的本质:GQA(16:4)+ 卷积 7-token 状态 + 4-bit 约 1GB 内存,端侧设备也能流畅推理;
- 强的本质:22T token 预训练 + SFT/混合 RL/MOPD/Agentic RL 四阶段后训练,工具调用与长上下文表现越级;
- 一句话推荐:如果你想在自己设备上用低延迟、低内存跑一个支持 256K 长上下文、擅长工具调用的 Agent 小模型,LFM3-1.7B 的三重混合架构就是当前答案。


