揭秘 LSA 稀疏注意力:LongCat-Flash-Lite-Sparse-4bit 如何做到 98 万 token 长上下文
揭秘 LSA 稀疏注意力:LongCat-Flash-Lite-Sparse-4bit 如何做到 98 万 token 长上下文
LongCat-Flash-Lite-Sparse-4bit 是美团 LongCat-Flash-Lite-Sparse(69B-A3B)的 4-bit MLX 量化版,凭借自研的 LSA(LongCat Sparse Attention)稀疏注意力机制,把最大上下文推到了 max_position_embeddings: 983040——也就是约 98 万 token,相当于一本几十万字的长文档可以一次性塞进模型"大脑"。本文用通俗的方式拆解它的三大技术支柱、98 万 token 长上下文的实现原理,以及在 Mac 上本地运行的方法。
一、模型速览:36 GB 权重,只激活 3B 参数
先看几个关键数字(来源 config.json):
| 项目 | 数值 | 说明 |
|---|---|---|
| 总参数 / 激活参数 | 69B / 约 3B | MoE 稀疏激活,每 token 只算 3B |
| 量化精度 | 4-bit(group_size 64, affine) | 权重约 36 GB,适合 64 GB 内存的 Mac |
| 最大上下文 | 983040(约 98 万)token | max_position_embeddings |
| 层数 / 隐藏维度 | 14 层 / 3072 | num_layers / hidden_size |
| MoE 结构 | 256 路由专家 + 128 恒等专家,top-12 | ScMoE,zero_expert_type: identity |
| 词表大小 | 131072 | 由 tokenizer.json 定义 |
这是一个典型的"大参数、小算力"设计:总参数 69B 决定模型的知识容量,但每个 token 实际只经过 top-12 选中的专家加少量恒等专家,约 3B 激活参数保证推理速度。
二、LSA 稀疏注意力:长上下文的"划重点"算法 💡
普通注意力机制需要当前 token 与所有历史 token 两两计算,计算量和显存随长度平方增长——这正是 98 万 token 长上下文最大的拦路虎。
LSA 的思路类似"读书划重点",它建立在 MLA(Multi-head Latent Attention)之上,由一个 DeepSeek 风格的 lightning indexer(闪电索引器) 负责挑选值得关注的 token。从 config.json 可以看到它的配置:
index_n_heads: 16、index_head_dim: 128:索引器有 16 个独立的"打分头",并行评估哪些历史 token 重要;index_topk: 2048:上下文一旦超过 2048,稀疏选择就自动开启,每个位置最多只精选 2048 个 token 做全精度注意力;index_local_tokens: 1024:固定本地窗口,最近 1024 个 token 无条件参与注意力,保证近期对话不丢失;index_init_tokens: 16:开头的"固定水槽(fixed sink)",开头 token 永久保留,防止长序列中注意力"漂移";cli_factor: 2:跨层索引复用,相邻 2 层共享同一份重要性索引,索引开销直接减半。
这套"水槽 + 本地窗口 + 全局 top-k 精选"的组合是面向流式推理设计的:无论上下文滚到多长,每步解码的注意力成本几乎恒定。README.md 的实测数据印证了这一点——4-bit 版本在 32768 token 上下文下解码仍有 73 tok/s,仅比 512 token 时的 112 tok/s 降约三成,而传统全注意力模型此时早已大幅掉速。
三、98 万 token 的底气:RoPE 外推 + MLA 压缩
光有稀疏注意力还不够,98 万 token 背后还有两个关键设计:
- 位置编码外推:基模原生长度只有 8192,config.json 中
rope_scaling采用deepseek_yarn方案,factor: 120(8192 × 120 = 983040),配合rope_theta: 1000000的高频基,把位置编码平滑外推到 98 万级别; - MLA 压缩 KV 缓存:
kv_lora_rank: 512、q_lora_rank: 1536说明 KV 被低秩压缩后存储,98 万 token 的缓存内存占用远小于传统实现。
两者叠加,才让"98 万 token"不是纸面参数,而是可运行的能力。
四、另外两大支柱:零计算专家与 N-gram 嵌入
1. ScMoE 的零计算(恒等)专家
zero_expert_num: 128 且 zero_expert_type: identity——除了 256 个路由专家,还有 128 个"什么都不算"的恒等专家参与 top-12 竞争。当 token 不需要变换时,信号直接穿过,既节省算力又稳定训练。
2. N-gram("oe")输入嵌入
约 46% 的参数用于 N-gram 嵌入,把相邻词组的组合信息直接融合进词嵌入,让模型"一眼看到词组"而非逐字理解。README.md 特别提到一个关键修复:LongcatCausalLM 保留了词嵌入的完整尺度(word + Σ projections / (1 + num_embedders)),而非稠密版的整体除以 13——后者会打乱生成结果。本仓库权重已应用正确融合方式。
五、本地运行指南:64 GB Mac 即可 🚀
本仓库基于 MLX 框架,最低配置需求就是一台 64 GB 内存的 Mac(4-bit 版);预算更高可选 6-bit(约 52 GB,96 GB Mac)或 8-bit(约 68 GB,128 GB Mac,近乎无损)。
基本步骤(详见 README.md 的 Usage 章节):
- 安装支持
longcat_flash_sparse架构的 mlx-vlm 版本(需带对应社区补丁,README 中已给出安装命令); - 按仓库名加载模型并启用
trust_remote_code=True(配套代码见 tokenization_llama.py、chat_template.jinja); - 套用 chat template 后调用
generate,指定max_tokens、temperature即可开始对话。
推荐生成参数已在 generation_config.json 中给出:temperature: 0.7、top_p: 0.95、top_k: 4、repetition_penalty: 1.06。
六、实测性能参考(M5 Max, 128 GB, batch=1)
来自 README.md,4-bit 版本:
| 上下文长度 | 解码 tok/s | Prefill tok/s |
|---|---|---|
| 512 | 112 | 3142 |
| 8192 | 83 | 1756 |
| 32768 | 73 | 623 |
4-bit 版本在 512→32k 全程峰值内存约 39–45 GB,64 GB 内存机型留有充足余量。
七、仓库文件导览 📂
| 文件 | 作用 |
|---|---|
| config.json | 模型结构、LSA 索引参数、量化配置 |
| generation_config.json | 默认采样参数 |
| chat_template.jinja | 对话模板(含思考模式 /think_on、工具调用) |
| tokenizer.json、special_tokens_map.json | 分词器与特殊 token 定义 |
| model.safetensors.index.json | 权重索引,共 8 个分片(model-00001-of-00008.safetensors 等),总计约 38.6 GB |
八、总结
LongCat-Flash-Lite-Sparse-4bit 用三件事证明了"长上下文不必昂贵":LSA 稀疏注意力把每步注意力成本与上下文长度解耦,MLA 低秩压缩把 KV 内存压到极致,MoE + 恒等专家把每 token 计算量锁在 3B 量级。4-bit 量化后约 36 GB 的体积,让 64 GB 内存的 Mac 也能体验 98 万 token 的原生长上下文推理——对需要处理超长文档、代码库级上下文的本地开发者来说,这是一个值得关注的开源选择。