Clef-Omni 基准成绩深度解读:40+ 项评测数据背后,它到底强在哪?

原创2026-10-19 19:13:211,644 阅读

Clef-Omni 基准成绩深度解读:40+ 项评测数据背后,它到底强在哪?

Clef-Omni 是 Cloudflare 开源的 30B-A3B MoE 多模态决策模型:它读取文本、JSON、图片、音频、视频等"状态",在一次前向推理中直接为每道结构化问题的所有选项输出概率,不生成自由文本、无需解析输出。本文带你逐类拆解 Decision Index 0.2.1 套件中 41 项基准成绩与 4 条业务流程评测,看它到底强在哪、弱在哪。


一、先搞懂 Clef-Omni 是什么:不做"聊天",只做"决策" 💡

大多数多模态大模型的输出是一段自由文本,再由下游代码解析成结论——解析可能失败、格式可能漂移。Clef-Omni 走了另一条路:

  • 输入(state):任意 JSON 值、字符串,外加可选的图片、音频、视频列表;
  • 问题(questions):三种类型——noul(是/否)、choice(命名选项)、score(有序档位);
  • 输出:每个问题、每个允许选项各一个 logit,逐题 softmax 即得概率分布,单次前向推理一次答完所有问题。

这种"联合 schema 头(joint schema head)"是一个小型 transformer 模块(4 层、16 头,见 joint_head_config.json),负责把状态中的证据"路由"到每个问题上联合打分。相关实现全部集中在 joint_schema_model.py 中,包含记录编码、媒体解码、批处理与 load_release_model 加载入口。

一句话理解:它不是"问答机",而是"选项打分器"——这正是理解下面所有成绩差异的关键。

二、41 项基准总览:哪些科目是"满分选手" 📊

以下数据来自 README.md 的 Decision Index 0.2.1 官方评测(百分比得分,ForecastBench 为 Brier 分数、越低越好)。我们按强弱分档速览:

✅ 第一梯队(85 分以上):意图分类与常识推理是"主场"

基准 指标 Clef-Omni Clef Clef-flash Jev
BFCL case exact accuracy 98.2 98.5 98.8 95.8
API-Bank accuracy 92.7 91.9 93.1 88.2
BANKING77 macro-F1 94.8 94.2 90.9 79.7
CLINC150+OOS macro-F1 97.7 97.4 66.8 89.3
MMLU accuracy 92.7 90.3 91.8 91.7
ARC-Easy accuracy 99.8 99.0 99.5 99.3
HellaSwag accuracy 99.1 98.2 98.6 94.5
WinoGrande accuracy 96.7 93.5 97.5 92.0
CRUXEval accuracy 88.8 86.7 86.1 73.0
MuSR accuracy 83.8 83.5 86.0 66.1
FinEntity macro-F1 96.3 96.2 97.1 87.0

解读:

  1. 工具调用类(BFCL / API-Bank):98.2 / 92.7 分,稳居第一梯队。结构化输出天生契合"选一个函数、填一组参数"这类任务;
  2. 意图分类(BANKING77 / CLINC150+OOS):macro-F1 分别为 94.8 与 97.7,双双领先 Clef 与 Jev——"从一句话判断客户想干什么"正是它的核心设计场景;
  3. 常识与简单推理(MMLU / ARC / HellaSwag / WinoGrande):几乎全部 90+,其中 ARC-Easy 99.8、HellaSwag 99.1 是全场最高分之一。

⚖️ 中游(50–85 分):可用,但不是最优解

基准 指标 Clef-Omni 同场最佳
ToolRet nDCG@10 66.6 Clef 69.2
ContractNLI macro-F1 80.3 Clef-flash 84.3
ANLI macro-F1 65.5 Jev 74.8
GSM8K accuracy 79.0 Clef 80.8
MMLU-Pro accuracy 70.6 Jev 82.7
HoVer accuracy 64.2 Jev 72.9
NLI4CT macro-F1 76.8 Jev 84.1
VAST macro-F1 50.9 Jev 64.6
BRIGHT nDCG@10 42.0 Jev 47.5

这个区间有一个清晰规律:需要更深推理链、更长程理解的任务(GSM8K、MMLU-Pro、HoVer 阅读问答、VAST 视频理解),Clef 系模型整体落后于 Jev。原因不复杂:Jev 是自由生成式模型,能"慢慢想";而 Clef-Omni 一次前向直接出概率,深度推理预算天然受限。

⚠️ 短板区(50 分以下):这些任务请交给别人

基准 指标 Clef-Omni Jev 差距
GPQA Diamond accuracy 47.4 78.3 -30.9
BBH accuracy 69.0 92.9 -23.9
POP909-CL accuracy 2.6 18.1 -15.5
RAGTruth hallucination F1 42.0 76.5 -34.5
ChessBench accuracy 22.1 17.2 +4.9(Clef 系最佳)
  • GPQA Diamond / BBH:研究生级科学与多步推理,差距在 24–31 分,是全场最明显的失分区;
  • RAGTruth(幻觉 F1):42.0 甚至低于自家 Clef(79.4),说明"基于给定证据做忠实回答"不是它的强项——它更适合"在既定选项里挑",而非"自由陈述事实";
  • POP909-CL:极低分(2.6)大概率受该基准的特殊任务设定影响,可作参考但不宜过度解读。

三、和 Jev、Clef、Clef-flash 比:定位差在哪 🔍

把 41 项基准横向看,四个模型各有分工:

维度 Clef-Omni Clef Clef-flash Jev
模态 文本+图+音+视频 文本+图 文本+图+视频 通用生成
输出方式 单次前向出选项概率 单次前向出选项概率 单次前向出选项概率 自由文本生成
分类/意图 ⭐ 最强档 强 不稳定(CLINC 仅 66.8) 中游
深度推理 弱 中 中 ⭐ 最强档
工具调用 ⭐ 98.2 (BFCL) 98.5 98.8 95.8

结论很直接:

  • 要低延迟、可预测、免解析的结构化决策 → 选 Clef 系(Omni 版额外解锁音频/视频输入);
  • 要研究生级推理、开放式问答 → Jev 明显更强;
  • Clef-flash 作为视频版"轻量"分支,在部分基准(如 ANLI 59.1、CLINC150 66.8)波动较大,更像"能跑通多模态"的定位。

四、真实业务场景:4 条端到端工作流评测 🏢

基准成绩之外,README.md 还给出了基于 Typesafe Evals 的 4 条端到端业务工作流得分(同一数据集修订版与案例集):

工作流 指标 Clef-Omni Clef Clef-flash Jev
Invoice processing Exact actions 60.2 64.7 57.1 61.8
Invoice processing Primary action 82.0 86.2 73.3 83.1
Customer service Exact actions 71.6 76.3 77.0 76.0
Security incidents Exact actions 61.7 62.9 61.7 61.7
Agent trace observability Primary action 65.8 68.5 69.8 71.6

工作流评测是"精确动作序列"打分,比单项基准苛刻得多——60% 上下的 Exact actions 意味着大约每 2.5 步就有 1 步偏差。这里 Clef(图片版)略优于 Omni,说明在纯文本流程上多模态开销没有带来红利;但作为唯一能"看录像、听录音"的分支,Clef-Omni 在客服工单(含通话录音)、车载视频取证这类场景仍是 Clef 系唯一选择。

五、为什么这么"偏科"?架构决定的 🧩

成绩画像几乎完全由架构解释:

  1. 一次前向、联合打分:所有问题共享同一次 backbone 计算,延迟极低、成本稳定,代价是没有"推理链条"预算 → GPQA/BBH 失分;
  2. 无自由文本输出:幻觉空间被压缩(输出必须落在允许选项内),分类任务稳,但 RAGTruth 这类"忠实复述证据"的任务反而吃亏;
  3. MoE + 30B 总参 / 3B 激活:基于 Qwen3-Omni-30B-A3B-Instruct 后训练(见 config.json 中 qwen3_omni_moe 架构与 MoE 专家配置),推理激活参数少,所以单卡 H200 上 bfloat16 仅需约 64 GB 显存;
  4. 联合 schema 头:4 层小 transformer 负责证据路由,让"一道题的答案依赖另一道题的证据"成为可能,这是它分类分数高的关键组件。

六、本地跑起来:部署要点速查 🚀

  • 硬件:单张 H200 级别 GPU(bfloat16 约 64 GB 显存);
  • 依赖:torch 2.11 + transformers 5.10.2;图片需 pillow,音视频需 av;
  • 文件构成:15 个分片权重 model-00001-of-00015.safetensors(含视觉/音频编码器)、联合头 joint_head.safetensors、入口代码 joint_schema_model.py、分片索引 model.safetensors.index.json;
  • 两种调用方式:
    • 直接调 encode_record + 前向,拿到每题选项的 logits;
    • 调 systemone 函数,完整兼容 Jev / SystemOne 的 POST /v1/systemone 请求体,返回带 confidence 与 probabilities 的标准答案体——存量 Jev 系统可直接平迁;
  • 文本与多模态记录可混批;视频按 2 帧/秒采样,音频按 16 kHz 单声道处理。

七、总结:Clef-Omni 适合谁?🎯

你的需求 推荐
意图分类、工单路由、发票/单据结构化 ⭐ Clef-Omni 首选
工具调用、函数选择 ⭐ Clef 系(BFCL 98+)
需要"看视频、听录音"再决策 ⭐ 仅 Clef-Omni
研究生级科学推理 / 开放式问答 Jev
长文忠实性 / 低幻觉陈述 Jev 或 Clef

一句话结论:Clef-Omni 不是"更强的通用模型",而是一台为结构化决策深度调优的多模态决策引擎——41 项基准里,它把"分类、常识、工具调用"做到了同档第一,同时坦率地暴露了"深度推理"的天花板。如果你的业务是"读状态 → 从固定选项里做决定",这套 90+ 分的分类/工具调用成绩,正是你最该在意的部分。

登录后查看全文
clef-omni