Sage-A1.5-FP8量化原理拆解:FP8动态量化为何几乎无损精度
Sage-A1.5-FP8量化原理拆解:FP8动态量化为何几乎无损精度
Sage-A1.5-FP8 是 InternScience 官方发布的 35B Mixture-of-Experts 智能体模型 Sage-A1.5 的 FP8 量化推理权重,其核心正是"FP8 动态量化"(FP8_DYNAMIC):权重离线压缩、激活值在推理时逐 token 动态定标。本文带你从仓库里的 config.json 与 recipe.yaml 两个文件出发,拆解这套量化方案的设计,并解释它为什么能在显存近乎减半的同时保持几乎无损的精度。
先认识 Sage-A1.5-FP8:一个 MoE 模型的官方量化版
在理解量化之前,先看看这个模型"量化之前"是什么量级:
| 项目 | 数值 | 说明 |
|---|---|---|
| 架构 | 35B MoE(256 专家,每 token 激活 8 个) | 权重体积大头在专家层 |
| 总层数 | 40 层文本层 + 27 层视觉编码器 | 多模态(VLM)模型 |
| 上下文长度 | 262,144 token | 262K 长上下文 |
| 原始精度 | BF16(约 70GB 权重) | 需要多卡才能装下 |
MoE 模型的特点是参数多、激活少:每个 token 只点亮 256 个专家中的 8 个,所以显存瓶颈主要来自权重本身。把权重从 BF16(每参数 2 字节)压到 FP8(每参数 1 字节),就能把 35B 模型塞进单张 80GB 显卡——这正是官方 README.md 中 vLLM 示例使用单卡(tensor-parallel-size 1)部署 262K 上下文的底气。
FP8 动态量化的三个关键设定:读懂 config.json 量化配置
打开 config.json,quantization_config 字段完整记录了这套量化方案。它的配方来源是 recipe.yaml:
scheme: FP8_DYNAMIC
requires_calibration_data: false
FP8_DYNAMIC 这个名字里藏着整套方案的一半答案:权重是静态的,激活是动态的。
权重侧:per-channel 静态量化,离线一次算好 scale
"weights": {
"num_bits": 8,
"type": "float",
"symmetric": true,
"strategy": "channel",
"observer": "memoryless_minmax",
"dynamic": false
}
strategy: "channel":对权重矩阵的每个输出通道单独计算一个缩放因子(scale),各通道的数值分布互不干扰;observer: "memoryless_minmax":离线时取该通道的最大绝对值作为定界值,无需遍历数据、无需校准集,一次前处理即可完成;- 量化后的权重以 FP8 存入 safetensors,旁边伴随一个极小的
weight_scale张量(见 model.safetensors.index.json 中每个weight都对应一个weight_scale)。
推理时权重不再需要现场量化,直接按存好的 scale 反量化即可,零额外开销。
激活侧:per-token 动态量化,推理时现场计算
"input_activations": {
"num_bits": 8,
"type": "float",
"symmetric": true,
"strategy": "token",
"dynamic": true
}
dynamic: true + strategy: "token" 是"动态量化"的落点:激活值不预先定标。每次前向传播时,对当前输入按 token 粒度实时求最大绝对值,算出该 token 专属的 scale,再量化到 FP8。
为什么选 token 粒度?因为激活值的分布随输入内容剧烈漂移——问一句数学题和读一篇长文档,数值范围完全不同。per-token 让每个 token 用自己的"尺子"量身定做的量化区间,彼此不干扰,这是对输入分布最贴合的在线粒度。
敏感模块免量化:一份"保护清单"
config.json 的 ignore 列表(config.json)相当长,但规律清晰,全是精度敏感、量化最容易掉分的部分:
| 被豁免的模块 | 保留精度 | 豁免原因 |
|---|---|---|
lm_head(词表输出层) |
BF16 | 直接决定 logits 分布,误差会被指数放大 |
model.visual.*(整个视觉编码器) |
BF16 | 图像特征数值特性特殊,掉点风险高 |
linear_attn.*(线性注意力投影) |
BF16 | 线性注意力状态递归计算,误差会沿时间累积 |
mlp.gate / shared_expert_gate |
BF16 | MoE 路由器,量化误差会直接改变专家选择 |
embed_tokens(嵌入表) |
BF16 | 查表操作无计算量,量化收益极小 |
re:^mtp.*(MTP 投机解码模块) |
BF16 | 草稿质量敏感,影响加速收益 |
这套"大模块 FP8 + 小模块 BF16"的混合精度策略,是 MoE 多模态模型量化不掉分的关键保险。
为什么 FP8 量化几乎无损精度:三个技术原因
这是全文最核心的部分。很多人觉得"压到 8bit 就该有明显掉点",但 FP8 和 INT8 完全是两回事。
浮点格式"相对精度",天然适配权重分布
模型权重和激活的分布高度一致:大量数值挤在 0 附近,少量极大值形成长尾。
- INT8 / INT4(整数量化):量化步长是常数。对长尾大数值定标后,密集的小数值全部被吞进同一个量化格子里——权重里那些"小但重要"的值精度直接归零;
- FP8(浮点量化):量化间隔随数值大小等比缩放。小数值用小格子精细表示,大数值用大格子容纳不溢出。
打个比方:INT8 像用固定 1 厘米的方格去数一粒芝麻和一座山,芝麻全糊了;FP8 像地图上的比例尺,远近都能保住相对细节。这就是 FP8 在同等比特数下精度远高于整数量化的根本原因。
细粒度 scale:per-channel + per-token 的双重贴合
粗粒度量化(比如整个矩阵共用一个 scale)会被少数极端值"绑架"整体精度。本方案两侧都用细粒度:
- 权重 per-channel:每列输出通道独立定标,个别"离群通道"不会拖累其他通道;
- 激活 per-token:每个 token 独立定标,不同内容互不污染。
两个维度叠加,量化误差被压到各模块自身分布的最小可感知范围内。
零校准数据:requires_calibration_data: false
传统量化(尤其是 INT 量化或 GPTQ 类方法)需要跑一遍校准数据集来"探测"激活分布,选不好校准集就会掉点。而 FP8 动态量化完全不需要校准数据(recipe.yaml 中 requires_calibration_data: false):权重用无记忆 minmax 离线定标,激活在推理时现场定标。没有校准环节,就没有"校准集不代表实际输入"这一整类掉分来源,量化结果可复现、对输入分布鲁棒。
实际省了多少:从 70GB 到单卡 80GB
量化前后的账很好算:
- BF16 原版:35B 参数 × 2 字节 ≈ 70GB,单卡放不下,需要多卡张量并行;
- FP8 量化版:model.safetensors.index.json 记录总权重体积
total_size ≈ 39.4GB,量化层权重减半 + 未量化小模块保留,整体接近一半; - 部署门槛:官方 README.md 给出的 vLLM / SGLang 命令均为单卡起服务,并支持 262K 上下文;显存省出来的空间还能留给 KV cache 和 MTP 多 token 预测(
model_mtp.safetensors)做投机解码加速。
| 对比项 | BF16 | Sage-A1.5-FP8 |
|---|---|---|
| 权重体积 | ~70GB | ~39.4GB |
| 最小部署卡数 | 多卡 | 1 × 80GB |
| 推理前量化开销 | — | 无(scale 已离线存好) |
如何验证"几乎无损":官方榜单与开源评测框架
精度不是嘴上说的。README 中的榜单显示,Sage-A1.5 模型族在 GAIA(95.1)、SWE-bench Pro(61.2)、XBench-DS-2510(92.0)、IFBench(81.6)等 20 余项 agentic 基准上全面领先同规模模型——而 Sage-A1.5-FP8 正是官方 Usage 部分唯一推荐的部署权重(--model-path InternScience/Sage-A1.5-FP8),即这套 FP8 权重承载了全部官方报告的推理表现。
如果你想亲手复核,官方开源了统一的 agent 评测框架(见 README.md 的 Agent Capability Evaluation 一节),社区可以用同一协议跑分、横向对比,"几乎无损"与否可以量化验证,而不是只看宣传。
总结:一张表看懂 FP8 动态量化为什么能"几乎无损"
| 设计点 | 位置 | 为什么保精度 |
|---|---|---|
| FP8 浮点格式 | 权重 + 激活均 8bit float | 相对精度适配"小值密集、长尾稀疏"的分布 |
| per-channel 权重 scale | 离线 memoryless_minmax |
每通道独立定标,零推理开销 |
| per-token 动态激活 scale | 推理时现场计算 | 最贴合输入分布,任何内容都不失配 |
| 零校准 | requires_calibration_data: false |
消除校准集偏差这一类掉分源 |
| 敏感模块 BF16 | lm_head、路由 gate、视觉塔等 |
误差最容易被放大的地方不碰 |
一句话总结:FP8 动态量化的"几乎无损"不是运气,而是"浮点格式 × 细粒度 scale × 零校准 × 混合精度豁免"四重设计叠加的结果——这也是 Sage-A1.5-FP8 敢于用单卡跑满 262K 长上下文 agentic 任务的底气所在。🎯