Clef-Omni 基准成绩深度解读:40+ 项评测数据背后,它到底强在哪?
Clef-Omni 基准成绩深度解读:40+ 项评测数据背后,它到底强在哪?
Clef-Omni 是 Cloudflare 开源的 30B-A3B MoE 多模态决策模型:它读取文本、JSON、图片、音频、视频等"状态",在一次前向推理中直接为每道结构化问题的所有选项输出概率,不生成自由文本、无需解析输出。本文带你逐类拆解 Decision Index 0.2.1 套件中 41 项基准成绩与 4 条业务流程评测,看它到底强在哪、弱在哪。
一、先搞懂 Clef-Omni 是什么:不做"聊天",只做"决策" 💡
大多数多模态大模型的输出是一段自由文本,再由下游代码解析成结论——解析可能失败、格式可能漂移。Clef-Omni 走了另一条路:
- 输入(state):任意 JSON 值、字符串,外加可选的图片、音频、视频列表;
- 问题(questions):三种类型——
noul(是/否)、choice(命名选项)、score(有序档位); - 输出:每个问题、每个允许选项各一个 logit,逐题 softmax 即得概率分布,单次前向推理一次答完所有问题。
这种"联合 schema 头(joint schema head)"是一个小型 transformer 模块(4 层、16 头,见 joint_head_config.json),负责把状态中的证据"路由"到每个问题上联合打分。相关实现全部集中在 joint_schema_model.py 中,包含记录编码、媒体解码、批处理与 load_release_model 加载入口。
一句话理解:它不是"问答机",而是"选项打分器"——这正是理解下面所有成绩差异的关键。
二、41 项基准总览:哪些科目是"满分选手" 📊
以下数据来自 README.md 的 Decision Index 0.2.1 官方评测(百分比得分,ForecastBench 为 Brier 分数、越低越好)。我们按强弱分档速览:
✅ 第一梯队(85 分以上):意图分类与常识推理是"主场"
| 基准 | 指标 | Clef-Omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|---|
| BFCL | case exact accuracy | 98.2 | 98.5 | 98.8 | 95.8 |
| API-Bank | accuracy | 92.7 | 91.9 | 93.1 | 88.2 |
| BANKING77 | macro-F1 | 94.8 | 94.2 | 90.9 | 79.7 |
| CLINC150+OOS | macro-F1 | 97.7 | 97.4 | 66.8 | 89.3 |
| MMLU | accuracy | 92.7 | 90.3 | 91.8 | 91.7 |
| ARC-Easy | accuracy | 99.8 | 99.0 | 99.5 | 99.3 |
| HellaSwag | accuracy | 99.1 | 98.2 | 98.6 | 94.5 |
| WinoGrande | accuracy | 96.7 | 93.5 | 97.5 | 92.0 |
| CRUXEval | accuracy | 88.8 | 86.7 | 86.1 | 73.0 |
| MuSR | accuracy | 83.8 | 83.5 | 86.0 | 66.1 |
| FinEntity | macro-F1 | 96.3 | 96.2 | 97.1 | 87.0 |
解读:
- 工具调用类(BFCL / API-Bank):98.2 / 92.7 分,稳居第一梯队。结构化输出天生契合"选一个函数、填一组参数"这类任务;
- 意图分类(BANKING77 / CLINC150+OOS):macro-F1 分别为 94.8 与 97.7,双双领先 Clef 与 Jev——"从一句话判断客户想干什么"正是它的核心设计场景;
- 常识与简单推理(MMLU / ARC / HellaSwag / WinoGrande):几乎全部 90+,其中 ARC-Easy 99.8、HellaSwag 99.1 是全场最高分之一。
⚖️ 中游(50–85 分):可用,但不是最优解
| 基准 | 指标 | Clef-Omni | 同场最佳 |
|---|---|---|---|
| ToolRet | nDCG@10 | 66.6 | Clef 69.2 |
| ContractNLI | macro-F1 | 80.3 | Clef-flash 84.3 |
| ANLI | macro-F1 | 65.5 | Jev 74.8 |
| GSM8K | accuracy | 79.0 | Clef 80.8 |
| MMLU-Pro | accuracy | 70.6 | Jev 82.7 |
| HoVer | accuracy | 64.2 | Jev 72.9 |
| NLI4CT | macro-F1 | 76.8 | Jev 84.1 |
| VAST | macro-F1 | 50.9 | Jev 64.6 |
| BRIGHT | nDCG@10 | 42.0 | Jev 47.5 |
这个区间有一个清晰规律:需要更深推理链、更长程理解的任务(GSM8K、MMLU-Pro、HoVer 阅读问答、VAST 视频理解),Clef 系模型整体落后于 Jev。原因不复杂:Jev 是自由生成式模型,能"慢慢想";而 Clef-Omni 一次前向直接出概率,深度推理预算天然受限。
⚠️ 短板区(50 分以下):这些任务请交给别人
| 基准 | 指标 | Clef-Omni | Jev | 差距 |
|---|---|---|---|---|
| GPQA Diamond | accuracy | 47.4 | 78.3 | -30.9 |
| BBH | accuracy | 69.0 | 92.9 | -23.9 |
| POP909-CL | accuracy | 2.6 | 18.1 | -15.5 |
| RAGTruth | hallucination F1 | 42.0 | 76.5 | -34.5 |
| ChessBench | accuracy | 22.1 | 17.2 | +4.9(Clef 系最佳) |
- GPQA Diamond / BBH:研究生级科学与多步推理,差距在 24–31 分,是全场最明显的失分区;
- RAGTruth(幻觉 F1):42.0 甚至低于自家 Clef(79.4),说明"基于给定证据做忠实回答"不是它的强项——它更适合"在既定选项里挑",而非"自由陈述事实";
- POP909-CL:极低分(2.6)大概率受该基准的特殊任务设定影响,可作参考但不宜过度解读。
三、和 Jev、Clef、Clef-flash 比:定位差在哪 🔍
把 41 项基准横向看,四个模型各有分工:
| 维度 | Clef-Omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| 模态 | 文本+图+音+视频 | 文本+图 | 文本+图+视频 | 通用生成 |
| 输出方式 | 单次前向出选项概率 | 单次前向出选项概率 | 单次前向出选项概率 | 自由文本生成 |
| 分类/意图 | ⭐ 最强档 | 强 | 不稳定(CLINC 仅 66.8) | 中游 |
| 深度推理 | 弱 | 中 | 中 | ⭐ 最强档 |
| 工具调用 | ⭐ 98.2 (BFCL) | 98.5 | 98.8 | 95.8 |
结论很直接:
- 要低延迟、可预测、免解析的结构化决策 → 选 Clef 系(Omni 版额外解锁音频/视频输入);
- 要研究生级推理、开放式问答 → Jev 明显更强;
- Clef-flash 作为视频版"轻量"分支,在部分基准(如 ANLI 59.1、CLINC150 66.8)波动较大,更像"能跑通多模态"的定位。
四、真实业务场景:4 条端到端工作流评测 🏢
基准成绩之外,README.md 还给出了基于 Typesafe Evals 的 4 条端到端业务工作流得分(同一数据集修订版与案例集):
| 工作流 | 指标 | Clef-Omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|---|
| Invoice processing | Exact actions | 60.2 | 64.7 | 57.1 | 61.8 |
| Invoice processing | Primary action | 82.0 | 86.2 | 73.3 | 83.1 |
| Customer service | Exact actions | 71.6 | 76.3 | 77.0 | 76.0 |
| Security incidents | Exact actions | 61.7 | 62.9 | 61.7 | 61.7 |
| Agent trace observability | Primary action | 65.8 | 68.5 | 69.8 | 71.6 |
工作流评测是"精确动作序列"打分,比单项基准苛刻得多——60% 上下的 Exact actions 意味着大约每 2.5 步就有 1 步偏差。这里 Clef(图片版)略优于 Omni,说明在纯文本流程上多模态开销没有带来红利;但作为唯一能"看录像、听录音"的分支,Clef-Omni 在客服工单(含通话录音)、车载视频取证这类场景仍是 Clef 系唯一选择。
五、为什么这么"偏科"?架构决定的 🧩
成绩画像几乎完全由架构解释:
- 一次前向、联合打分:所有问题共享同一次 backbone 计算,延迟极低、成本稳定,代价是没有"推理链条"预算 → GPQA/BBH 失分;
- 无自由文本输出:幻觉空间被压缩(输出必须落在允许选项内),分类任务稳,但 RAGTruth 这类"忠实复述证据"的任务反而吃亏;
- MoE + 30B 总参 / 3B 激活:基于 Qwen3-Omni-30B-A3B-Instruct 后训练(见 config.json 中
qwen3_omni_moe架构与 MoE 专家配置),推理激活参数少,所以单卡 H200 上 bfloat16 仅需约 64 GB 显存; - 联合 schema 头:4 层小 transformer 负责证据路由,让"一道题的答案依赖另一道题的证据"成为可能,这是它分类分数高的关键组件。
六、本地跑起来:部署要点速查 🚀
- 硬件:单张 H200 级别 GPU(bfloat16 约 64 GB 显存);
- 依赖:
torch2.11 +transformers5.10.2;图片需pillow,音视频需av; - 文件构成:15 个分片权重 model-00001-of-00015.safetensors(含视觉/音频编码器)、联合头 joint_head.safetensors、入口代码 joint_schema_model.py、分片索引 model.safetensors.index.json;
- 两种调用方式:
- 直接调
encode_record+ 前向,拿到每题选项的 logits; - 调
systemone函数,完整兼容 Jev / SystemOne 的POST /v1/systemone请求体,返回带confidence与probabilities的标准答案体——存量 Jev 系统可直接平迁;
- 直接调
- 文本与多模态记录可混批;视频按 2 帧/秒采样,音频按 16 kHz 单声道处理。
七、总结:Clef-Omni 适合谁?🎯
| 你的需求 | 推荐 |
|---|---|
| 意图分类、工单路由、发票/单据结构化 | ⭐ Clef-Omni 首选 |
| 工具调用、函数选择 | ⭐ Clef 系(BFCL 98+) |
| 需要"看视频、听录音"再决策 | ⭐ 仅 Clef-Omni |
| 研究生级科学推理 / 开放式问答 | Jev |
| 长文忠实性 / 低幻觉陈述 | Jev 或 Clef |
一句话结论:Clef-Omni 不是"更强的通用模型",而是一台为结构化决策深度调优的多模态决策引擎——41 项基准里,它把"分类、常识、工具调用"做到了同档第一,同时坦率地暴露了"深度推理"的天花板。如果你的业务是"读状态 → 从固定选项里做决定",这套 90+ 分的分类/工具调用成绩,正是你最该在意的部分。