Sage-A1.5-FP8 vs 全精度Sage-A1.5:FP8量化后性能差距有多大?

原创2026-10-22 21:25:361,885 阅读
文章标签:大模型人工智能多模态模型量化AI Agent

Sage-A1.5-FP8 vs 全精度Sage-A1.5:FP8量化后性能差距有多大?

Sage-A1.5-FP8 是 InternScience 推出的 35B MoE agentic 模型 Sage-A1.5 的 FP8 量化版本,主打低显存部署与近乎无损的推理体验。本文带你搞清楚:FP8 量化到底动用了哪些层、保精度靠什么设计、量化后性能差距有多大,以及如何用 vLLM/SGLang 快速跑起来。

一、先认识 Sage-A1.5:一个"会组织工作的"35B 专家混合模型

在谈量化之前,先说说底座模型是什么:

  • 🧩 35B 总参数的 MoE 架构:256 个专家、每 token 激活 8 个(num_experts: 256 / num_experts_per_tok: 8),40 层,256K(262144)上下文长度
  • 🤖 Agentic 能力:支持任务分解、工具调用(function calling)、并行子智能体编排(Agentic Orchestration)
  • ✅ 验证模式(Verification Mode):模型会在推理中途自我检查、修正方向
  • 🔬 科学发现能力:面向长程科研任务的探索式研究

完整能力说明见 README.md。官方在多个基准上给出了亮眼成绩:GAIA 95.1、IFBench 81.6、XBench-DS-2510 92.0(整体 SOTA)、SWE-bench Pro 61.2 等。

二、FP8 量化到底动了哪些部分?

"量化后性能差距有多大",答案很大程度藏在量化策略里。查看 config.json 中的 quantization_config 和 recipe.yaml,Sage-A1.5-FP8 采用的是 FP8_DYNAMIC 方案(基于 compressed-tensors 格式),核心思路是"该省的省,该留的留"。

2.1 被量化成 8-bit 的部分

项目 策略 说明
权重(Linear 层) per-channel 静态对称 量化时一次性算好 scale,推理零开销
输入激活(activations) per-token 动态对称 每 token 现场计算 scale,保住动态范围

FP8 是浮点量化格式(E4M3 编码),相比 INT8 拥有更大的动态范围,对大模型中那些"数值分布极不均匀"的权重更友好,这也是它成为当前推理侧主流格式的原因。

2.2 刻意保留全精度的"敏感区"

config.json 的 ignore 列表相当长,翻译成人话就是这些模块不做量化、保持 bfloat16 全精度:

  • 👁️ 整个视觉编码器(model.visual.* 全部 27 层)——多模态输入对精度最敏感
  • 🧠 MoE 路由器(mlp.gate、shared_expert_gate)——专家路由错了,后面全错
  • 📡 线性注意力投影层(linear_attn.*)与 lm_head、embed_tokens
  • ⚡ MTP 模块(re:^mtp.*,多 token 预测头)——投机解算的草稿模型不能先"降质"

这套"选择性量化"就是 FP8 版本性能几乎无损的关键:把 99% 的体积省下来,把 1% 最敏感的精度守住。

三、性能差距有多大?看基准成绩单

官方为 FP8 仓库报告的基准成绩,与全精度 Sage-A1.5 使用同一套评测协议。截取几个代表性指标:

基准 类别 得分 评价
GAIA 长程搜索 95.1 高于所有对比的更大规模模型
XBench-DS-2510 长程搜索 92.0 🥇 整体 SOTA
IFBench 指令遵循 81.6 🥇 整体 SOTA
SWE-bench Pro 工程任务 61.2 ~35B 同级第一
SWE-bench Multilingual 工程任务 72.7 ~35B 同级第一
FrontierScience-Research 科研 48.3 🥇 整体 SOTA
PinchBench 通用 Agentic 90.0 🥇 整体 SOTA
OmniDocBench 文档理解 91.5 🥇 整体 SOTA

结论先行:FP8 量化后,官方报告的模型能力与全精度 Sage-A1.5 基本一致。 这也是官方直接把 FP8 作为默认分发形态的原因——你拿到的"量化版",本质上就是官方推荐的生产部署版本,而不是"缩水版"。

💡 当然,量化并非数学意义上的无损。在极少数对精度极端敏感的边缘场景(如超长链推理的末尾细节),理论上可能存在微小波动,但从上述覆盖搜索、编程、科研、指令遵循的全家桶成绩看,这种波动在工程上可以忽略。

四、那 FP8 换来了什么?部署成本

性能几乎不降,收益却非常实在:

  • 📉 显存约减半:权重量级 16-bit → 8-bit,同样一张卡能装下更大并发
  • 🎯 单卡 262K 上下文:官方 vLLM 标准模式即 1 GPU + 262144 上下文,全精度版很难做到这一点
  • 🚀 原生 FP8 矩阵加速:支持 FP8 张量核的 GPU 上,解码速度更快
  • ⚡ MTP 投机解算加持:模型自带 1 层 MTP 头(另有 model_mtp.safetensors),配合 SGLang EAGLE 或 vLLM MTP 配置,可进一步提升生成吞吐

一句话总结差距:Sage-A1.5-FP8 用约一半的显存,换来了与全精度版几乎相同的智能水平——这是当前 35B 级别 agentic 模型性价比最高的部署方式。

五、怎么选:FP8 还是全精度?

场景 推荐 理由
生产环境 / API 服务 ✅ Sage-A1.5-FP8 单卡可跑 262K 上下文,吞吐更高
本地单卡部署 ✅ Sage-A1.5-FP8 显存占用更低
极限精度科研实验 ⚖️ 全精度 Sage-A1.5 追求理论上限时保留 bf16
显存 ≥ 全精度需求 ⚖️ 看需求 两者能力几乎无差别

六、快速上手:vLLM 一行命令拉起 FP8 版本

以 vLLM 为例,标准部署(1 GPU、262K 上下文):

vllm serve InternScience/Sage-A1.5-FP8 \
  --port 8000 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

SGLang 用户可加上 --speculative-algorithm EAGLE 等参数开启 MTP 投机解算,完整命令见 README.md。

官方推荐采样参数:temperature: 1.0、top_p: 0.95、top_k: 20、presence_penalty: 1.5。

七、写在最后

回到开头的问题:Sage-A1.5-FP8 与全精度 Sage-A1.5 的性能差距有多大?——从官方基准成绩看,几乎可以忽略不计。

这得益于一个清晰的量化设计:MoE 专家与 FFN 大权重压到 8-bit,而视觉编码器、路由门、注意力投影和 MTP 头等敏感模块全部保留全精度。如果你正在部署这个 35B agentic 模型,FP8 版本就是当下"能力不缩水、成本直接腰斩"的最优解。

登录后查看全文
Sage-A1.5-FP8