Sage-A1.5-FP8 vs 全精度Sage-A1.5:FP8量化后性能差距有多大?
Sage-A1.5-FP8 vs 全精度Sage-A1.5:FP8量化后性能差距有多大?
Sage-A1.5-FP8 是 InternScience 推出的 35B MoE agentic 模型 Sage-A1.5 的 FP8 量化版本,主打低显存部署与近乎无损的推理体验。本文带你搞清楚:FP8 量化到底动用了哪些层、保精度靠什么设计、量化后性能差距有多大,以及如何用 vLLM/SGLang 快速跑起来。
一、先认识 Sage-A1.5:一个"会组织工作的"35B 专家混合模型
在谈量化之前,先说说底座模型是什么:
- 🧩 35B 总参数的 MoE 架构:256 个专家、每 token 激活 8 个(
num_experts: 256/num_experts_per_tok: 8),40 层,256K(262144)上下文长度 - 🤖 Agentic 能力:支持任务分解、工具调用(function calling)、并行子智能体编排(Agentic Orchestration)
- ✅ 验证模式(Verification Mode):模型会在推理中途自我检查、修正方向
- 🔬 科学发现能力:面向长程科研任务的探索式研究
完整能力说明见 README.md。官方在多个基准上给出了亮眼成绩:GAIA 95.1、IFBench 81.6、XBench-DS-2510 92.0(整体 SOTA)、SWE-bench Pro 61.2 等。
二、FP8 量化到底动了哪些部分?
"量化后性能差距有多大",答案很大程度藏在量化策略里。查看 config.json 中的 quantization_config 和 recipe.yaml,Sage-A1.5-FP8 采用的是 FP8_DYNAMIC 方案(基于 compressed-tensors 格式),核心思路是"该省的省,该留的留"。
2.1 被量化成 8-bit 的部分
| 项目 | 策略 | 说明 |
|---|---|---|
| 权重(Linear 层) | per-channel 静态对称 | 量化时一次性算好 scale,推理零开销 |
| 输入激活(activations) | per-token 动态对称 | 每 token 现场计算 scale,保住动态范围 |
FP8 是浮点量化格式(E4M3 编码),相比 INT8 拥有更大的动态范围,对大模型中那些"数值分布极不均匀"的权重更友好,这也是它成为当前推理侧主流格式的原因。
2.2 刻意保留全精度的"敏感区"
config.json 的 ignore 列表相当长,翻译成人话就是这些模块不做量化、保持 bfloat16 全精度:
- 👁️ 整个视觉编码器(
model.visual.*全部 27 层)——多模态输入对精度最敏感 - 🧠 MoE 路由器(
mlp.gate、shared_expert_gate)——专家路由错了,后面全错 - 📡 线性注意力投影层(
linear_attn.*)与lm_head、embed_tokens - ⚡ MTP 模块(
re:^mtp.*,多 token 预测头)——投机解算的草稿模型不能先"降质"
这套"选择性量化"就是 FP8 版本性能几乎无损的关键:把 99% 的体积省下来,把 1% 最敏感的精度守住。
三、性能差距有多大?看基准成绩单
官方为 FP8 仓库报告的基准成绩,与全精度 Sage-A1.5 使用同一套评测协议。截取几个代表性指标:
| 基准 | 类别 | 得分 | 评价 |
|---|---|---|---|
| GAIA | 长程搜索 | 95.1 | 高于所有对比的更大规模模型 |
| XBench-DS-2510 | 长程搜索 | 92.0 🥇 | 整体 SOTA |
| IFBench | 指令遵循 | 81.6 🥇 | 整体 SOTA |
| SWE-bench Pro | 工程任务 | 61.2 | ~35B 同级第一 |
| SWE-bench Multilingual | 工程任务 | 72.7 | ~35B 同级第一 |
| FrontierScience-Research | 科研 | 48.3 🥇 | 整体 SOTA |
| PinchBench | 通用 Agentic | 90.0 🥇 | 整体 SOTA |
| OmniDocBench | 文档理解 | 91.5 🥇 | 整体 SOTA |
结论先行:FP8 量化后,官方报告的模型能力与全精度 Sage-A1.5 基本一致。 这也是官方直接把 FP8 作为默认分发形态的原因——你拿到的"量化版",本质上就是官方推荐的生产部署版本,而不是"缩水版"。
💡 当然,量化并非数学意义上的无损。在极少数对精度极端敏感的边缘场景(如超长链推理的末尾细节),理论上可能存在微小波动,但从上述覆盖搜索、编程、科研、指令遵循的全家桶成绩看,这种波动在工程上可以忽略。
四、那 FP8 换来了什么?部署成本
性能几乎不降,收益却非常实在:
- 📉 显存约减半:权重量级 16-bit → 8-bit,同样一张卡能装下更大并发
- 🎯 单卡 262K 上下文:官方 vLLM 标准模式即 1 GPU + 262144 上下文,全精度版很难做到这一点
- 🚀 原生 FP8 矩阵加速:支持 FP8 张量核的 GPU 上,解码速度更快
- ⚡ MTP 投机解算加持:模型自带 1 层 MTP 头(另有
model_mtp.safetensors),配合 SGLang EAGLE 或 vLLM MTP 配置,可进一步提升生成吞吐
一句话总结差距:Sage-A1.5-FP8 用约一半的显存,换来了与全精度版几乎相同的智能水平——这是当前 35B 级别 agentic 模型性价比最高的部署方式。
五、怎么选:FP8 还是全精度?
| 场景 | 推荐 | 理由 |
|---|---|---|
| 生产环境 / API 服务 | ✅ Sage-A1.5-FP8 | 单卡可跑 262K 上下文,吞吐更高 |
| 本地单卡部署 | ✅ Sage-A1.5-FP8 | 显存占用更低 |
| 极限精度科研实验 | ⚖️ 全精度 Sage-A1.5 | 追求理论上限时保留 bf16 |
| 显存 ≥ 全精度需求 | ⚖️ 看需求 | 两者能力几乎无差别 |
六、快速上手:vLLM 一行命令拉起 FP8 版本
以 vLLM 为例,标准部署(1 GPU、262K 上下文):
vllm serve InternScience/Sage-A1.5-FP8 \
--port 8000 \
--max-model-len 262144 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
SGLang 用户可加上 --speculative-algorithm EAGLE 等参数开启 MTP 投机解算,完整命令见 README.md。
官方推荐采样参数:temperature: 1.0、top_p: 0.95、top_k: 20、presence_penalty: 1.5。
七、写在最后
回到开头的问题:Sage-A1.5-FP8 与全精度 Sage-A1.5 的性能差距有多大?——从官方基准成绩看,几乎可以忽略不计。
这得益于一个清晰的量化设计:MoE 专家与 FFN 大权重压到 8-bit,而视觉编码器、路由门、注意力投影和 MTP 头等敏感模块全部保留全精度。如果你正在部署这个 35B agentic 模型,FP8 版本就是当下"能力不缩水、成本直接腰斩"的最优解。