揭秘 LSA 稀疏注意力:LongCat-Flash-Lite-Sparse-4bit 如何做到 98 万 token 长上下文

原创2026-10-19 18:01:171,769 阅读

揭秘 LSA 稀疏注意力:LongCat-Flash-Lite-Sparse-4bit 如何做到 98 万 token 长上下文

LongCat-Flash-Lite-Sparse-4bit 是美团 LongCat-Flash-Lite-Sparse(69B-A3B)的 4-bit MLX 量化版,凭借自研的 LSA(LongCat Sparse Attention)稀疏注意力机制,把最大上下文推到了 max_position_embeddings: 983040——也就是约 98 万 token,相当于一本几十万字的长文档可以一次性塞进模型"大脑"。本文用通俗的方式拆解它的三大技术支柱、98 万 token 长上下文的实现原理,以及在 Mac 上本地运行的方法。

一、模型速览:36 GB 权重,只激活 3B 参数

先看几个关键数字(来源 config.json):

项目 数值 说明
总参数 / 激活参数 69B / 约 3B MoE 稀疏激活,每 token 只算 3B
量化精度 4-bit(group_size 64, affine) 权重约 36 GB,适合 64 GB 内存的 Mac
最大上下文 983040(约 98 万)token max_position_embeddings
层数 / 隐藏维度 14 层 / 3072 num_layers / hidden_size
MoE 结构 256 路由专家 + 128 恒等专家,top-12 ScMoE,zero_expert_type: identity
词表大小 131072 由 tokenizer.json 定义

这是一个典型的"大参数、小算力"设计:总参数 69B 决定模型的知识容量,但每个 token 实际只经过 top-12 选中的专家加少量恒等专家,约 3B 激活参数保证推理速度。

二、LSA 稀疏注意力:长上下文的"划重点"算法 💡

普通注意力机制需要当前 token 与所有历史 token 两两计算,计算量和显存随长度平方增长——这正是 98 万 token 长上下文最大的拦路虎。

LSA 的思路类似"读书划重点",它建立在 MLA(Multi-head Latent Attention)之上,由一个 DeepSeek 风格的 lightning indexer(闪电索引器) 负责挑选值得关注的 token。从 config.json 可以看到它的配置:

  • index_n_heads: 16、index_head_dim: 128:索引器有 16 个独立的"打分头",并行评估哪些历史 token 重要;
  • index_topk: 2048:上下文一旦超过 2048,稀疏选择就自动开启,每个位置最多只精选 2048 个 token 做全精度注意力;
  • index_local_tokens: 1024:固定本地窗口,最近 1024 个 token 无条件参与注意力,保证近期对话不丢失;
  • index_init_tokens: 16:开头的"固定水槽(fixed sink)",开头 token 永久保留,防止长序列中注意力"漂移";
  • cli_factor: 2:跨层索引复用,相邻 2 层共享同一份重要性索引,索引开销直接减半。

这套"水槽 + 本地窗口 + 全局 top-k 精选"的组合是面向流式推理设计的:无论上下文滚到多长,每步解码的注意力成本几乎恒定。README.md 的实测数据印证了这一点——4-bit 版本在 32768 token 上下文下解码仍有 73 tok/s,仅比 512 token 时的 112 tok/s 降约三成,而传统全注意力模型此时早已大幅掉速。

三、98 万 token 的底气:RoPE 外推 + MLA 压缩

光有稀疏注意力还不够,98 万 token 背后还有两个关键设计:

  1. 位置编码外推:基模原生长度只有 8192,config.json 中 rope_scaling 采用 deepseek_yarn 方案,factor: 120(8192 × 120 = 983040),配合 rope_theta: 1000000 的高频基,把位置编码平滑外推到 98 万级别;
  2. MLA 压缩 KV 缓存:kv_lora_rank: 512、q_lora_rank: 1536 说明 KV 被低秩压缩后存储,98 万 token 的缓存内存占用远小于传统实现。

两者叠加,才让"98 万 token"不是纸面参数,而是可运行的能力。

四、另外两大支柱:零计算专家与 N-gram 嵌入

1. ScMoE 的零计算(恒等)专家 zero_expert_num: 128 且 zero_expert_type: identity——除了 256 个路由专家,还有 128 个"什么都不算"的恒等专家参与 top-12 竞争。当 token 不需要变换时,信号直接穿过,既节省算力又稳定训练。

2. N-gram("oe")输入嵌入 约 46% 的参数用于 N-gram 嵌入,把相邻词组的组合信息直接融合进词嵌入,让模型"一眼看到词组"而非逐字理解。README.md 特别提到一个关键修复:LongcatCausalLM 保留了词嵌入的完整尺度(word + Σ projections / (1 + num_embedders)),而非稠密版的整体除以 13——后者会打乱生成结果。本仓库权重已应用正确融合方式。

五、本地运行指南:64 GB Mac 即可 🚀

本仓库基于 MLX 框架,最低配置需求就是一台 64 GB 内存的 Mac(4-bit 版);预算更高可选 6-bit(约 52 GB,96 GB Mac)或 8-bit(约 68 GB,128 GB Mac,近乎无损)。

基本步骤(详见 README.md 的 Usage 章节):

  1. 安装支持 longcat_flash_sparse 架构的 mlx-vlm 版本(需带对应社区补丁,README 中已给出安装命令);
  2. 按仓库名加载模型并启用 trust_remote_code=True(配套代码见 tokenization_llama.py、chat_template.jinja);
  3. 套用 chat template 后调用 generate,指定 max_tokens、temperature 即可开始对话。

推荐生成参数已在 generation_config.json 中给出:temperature: 0.7、top_p: 0.95、top_k: 4、repetition_penalty: 1.06。

六、实测性能参考(M5 Max, 128 GB, batch=1)

来自 README.md,4-bit 版本:

上下文长度 解码 tok/s Prefill tok/s
512 112 3142
8192 83 1756
32768 73 623

4-bit 版本在 512→32k 全程峰值内存约 39–45 GB,64 GB 内存机型留有充足余量。

七、仓库文件导览 📂

文件 作用
config.json 模型结构、LSA 索引参数、量化配置
generation_config.json 默认采样参数
chat_template.jinja 对话模板(含思考模式 /think_on、工具调用)
tokenizer.json、special_tokens_map.json 分词器与特殊 token 定义
model.safetensors.index.json 权重索引,共 8 个分片(model-00001-of-00008.safetensors 等),总计约 38.6 GB

八、总结

LongCat-Flash-Lite-Sparse-4bit 用三件事证明了"长上下文不必昂贵":LSA 稀疏注意力把每步注意力成本与上下文长度解耦,MLA 低秩压缩把 KV 内存压到极致,MoE + 恒等专家把每 token 计算量锁在 3B 量级。4-bit 量化后约 36 GB 的体积,让 64 GB 内存的 Mac 也能体验 98 万 token 的原生长上下文推理——对需要处理超长文档、代码库级上下文的本地开发者来说,这是一个值得关注的开源选择。

登录后查看全文
LongCat-Flash-Lite-Sparse-4bit