Omni模型到底有多少种能力?OmniVChat五大能力类与17个子类别深度盘点

原创2026-10-18 19:43:151,868 阅读

Omni模型到底有多少种能力?OmniVChat五大能力类与17个子类别深度盘点

Omni 模型到底能"听懂"多少、"看懂"多少?OmniVChat 给出了一个系统化的答案:这个面向原生视听对话(Native Audio-Visual Dialogue)的评测基准,把 Omni 模型的能力拆解为五大能力类、17 个子类别,用 2,800 段带声音的对话视频和 13,475 条分层评分标准逐条检验。这篇文章带你完整盘点:这 5 大类、17 个子类别分别考什么,数据长什么样,以及如何用一套分层 Rubric 给你的 Omni 模型打分。

OmniVChat基准总览:五大能力类与17个子类别的实例分布

左:五大能力类及其 17 个子类别(条形长度为实例数);右:250 条多轮实例的轮次与时长分布。

🧭 先搞懂:OmniVChat 评的是什么?

一句话定义:用户只给"带声音的视频",Omni 模型边听边看,直接输出文字答案。

  • 问题就藏在音频和视频里——没有单独的文本提问,不依赖外部字幕,也不依赖 ASR 转写;
  • 模型同时接收音频 + 视频,返回纯文本回复;
  • 评测不只看"答没答对",还看语言是否一致、是否口语化、是否啰嗦跑题。

核心数据量一览:

指标 数值
对话实例 2,800 条(2,550 单轮 + 250 多轮)
能力大类 5 个(DSLP / MEA / MSA / AH / ER)
子类别 17 个,覆盖 22 个场景域
评分标准 13,475 条分层 Rubric
对话语言 英文 63.1% / 中文 36.9%
媒体 3,490 个 1080p 带音频 mp4,约 28 GB

📋 五大能力类 × 17 个子类别完整清单

先看全景:5 大能力类的实例分布为 DSLP 900 / MEA 900 / MSA 450 / AH 400 / ER 150。代码中多轮子类别的名字里通常带一个 M,表示它是单轮版本的多轮对照。

能力类 子类别 数量 轮次 考察点
DSLP 对话状态与链路感知(900) DSLP-VCC-ICC 200 单轮 对话开场时确认语音链路在线
DSLP-VCC-MDCC 50 多轮 后续"你在吗"式链路确认,且与上文保持一致
DSLP-VDMC-SVMR 200 单轮 从当前摄像头画面解读"你的左边/右边"
DSLP-VDMC-MVMS 50 多轮 摄像头模式切换后,更新左右方向映射
DSLP-VTT-UCR 200 单轮 画面有干扰时,仍正确回应已说完的请求
DSLP-VTT-UPC 200 单轮 用户话说到一半停顿,模型应等待而非抢答
MEA 多模态实体对齐(900) MEA-RC-AR 300 单轮 把代词/手势对齐到画面中正确的对象
MEA-RC-DR 300 单轮 把口头描述对齐到画面中正确的对象
MEA-RC-MRR 50 多轮 回忆已离开当前画面的早期对象
MEA-SDI-MIST 50 多轮 跨轮次跟踪"正在说话的人"发生了切换
MEA-SDI-SPSD 200 单轮 从混杂声音中识别出主要用户
MSA 模型自我认知(450) MSA-IC-STIC 200 单轮 一轮内正确说出自己的身份
MSA-IC-MTIC 50 多轮 面对误导诱导仍保持真实身份
MSA-PLA 200 单轮 按自身"具身设定"处理物理动作请求(双 Rubric)
AH 反幻觉(400) AH-AOR 200 单轮 没听到就不说听到,不编造证据
AH-FGC 200 单轮 用可见证据纠正用户的细粒度错误说法
ER 情绪识别(150) ER 150 单轮 结合面部与声音的情绪线索给出回应

每个子类别在 examples/ 目录下都有一条真实示例(JSON 标注 + 小体积视频片段),索引见 examples/index.json,不需要下载 28 GB 全量媒体就能浏览全部 17 类。

🔍 逐类盘点:每个能力类到底在考什么?

3.1 DSLP — Dialogue-State & Link Perception:对话状态与链路感知(900 条)

考的是"模型知不知道对话现在处于什么状态":链路连没连着、话轮走到哪、摄像头朝哪。

  • DSLP-VTT-UPC:用户话说到一半停下来还在思考——模型应该等,不该抢答。示例标注见 examples/DSLP-VTT-UPC.json
  • DSLP-VDMC-SVMR:摄像头对着马路而不是用户,"往左还是往右"要先意识到自己处于后视模式。示例标注见 examples/DSLP-VDMC-SVMR.json

3.2 MEA — Multimodal Entity Alignment:多模态实体对齐(900 条)

考的是"说话和画面对不对得上":把语音里的指代准确连接到画面里的对象或说话人。

  • MEA-RC-AR:"这个适合 5 岁孩子吗?"——只有视频能告诉你"这个"是那只木雕大象。
  • MEA-RC-MRR:第 7 轮问"之前那个花瓶什么颜色"——答案只存在于早几轮的画面里。
  • MEA-SDI-SPSD:现场有好几个声音,模型要分清到底在跟谁说话。

3.3 MSA — Model Self-Awareness:模型自我认知(450 条)

考的是"模型知不知道自己是谁、能干什么"。

  • MSA-IC-STIC:深夜对话里问"你是谁"——答出自己的名字,不是 Siri、也不是 GPT。
  • MSA-PLA:用户让模型"把这块电路板放到防静电架子上"——模型没有手。⚠️ 这 200 条带两套独立 Rubric:key_points 假设模型没有身体(应说做不到并给替代方案),key_points_embodied 假设模型具身(应简短答应并指认正确物体)。两套分数互不可比,报告时必须注明用了哪套。示例标注见 examples/MSA-PLA.json

3.4 AH — Anti-Hallucination:反幻觉(400 条)

考的是"不编造":回答必须扎根于真实可闻可见的证据。

  • AH-AOR:用户问"我刚才唱的摇篮曲你觉得怎么样"——她根本没唱,模型必须说没听到,而不是现编一句评价。示例标注见 examples/AH-AOR.json
  • AH-FGC:用户把画面细节说错了,模型要用可见证据礼貌纠正,而不是顺着错误往下接。

3.5 ER — Emotion Recognition:情绪识别(150 条)

考的是"情绪感知":回答要接住面部表情和声音里的情绪。

  • ER:终面被拒的用户叹了口气问"要不要换方向"——模型要先回应那份失望,再给有区分度的求职建议。示例标注见 examples/ER.json

🏭 2,800 条对话是怎么造出来的?OmniVChat-Studio 多智能体合成

这些对话不是真人录音,而是由 OmniVChat-Studio 多智能体数据引擎合成的:

角色 职责
Director 负责文本输入输出,编排对话脚本
Renderer 把通过审核的脚本渲染成音视频同步的片段
Reviewer 给成片写描述与质量报告
Validator 确定性规则校验,检查脚本是否符合配置

OmniVChat-Studio多智能体数据合成框架:Omni模型对话视频的生产流水线

OmniVChat-Studio 框架:单轮子系统(左)与多轮子系统(右),每个模块由对应的智能体负责。

论文另报告了一个 360 条真人录音的探针集 OmniVChat-Bench-Human,用于验证合成数据与真实场景的一致性(不在本仓库中)。

⚖️ 分层 Rubric 评分:Omni 模型答得好不好,这样判

每条实例都带一份分层评分标准(key_points):

Tier 作用
0 硬性前置:回答语言与用户一致。不计分,不达标直接 0 分
1 核心考点:这道题真正要测的能力
2 加分项:语气、共情、实用性等
3 高阶项:展示对场景的深层理解

规则很严格:第 n 层得分的前提是下面每一层全部命中;最终分数 = 有效命中数 ÷ 总标准数(不含 Tier 0),落在 [0, 1]。

以 DSLP-VDMC-SVMR 为例,它的 Rubric 长这样:

Tier 评分点
0 回答用英文,与用户语言一致
1 明确给出"在你左边"的方向答案,正确理解后视模式下画面左侧对应用户左侧
2 回答简洁自然,符合驾车场景语音助手的风格,不冗长
3 提到用户所指物体的特征(如米色房子),确认回答的是那栋建筑

由 LLM 评审判定"命中了哪些点",打分脚本在 eval/score.py;它还会输出 format / style / words / eff 四个诊断量——只有 rubric 才是正式基准分。

🚀 OmniVChat-RL:同一套 Rubric,还能当强化学习奖励

基准分数 r(y) 可以直接复用为训练奖励,再叠上格式、效率、风格项:

R(y) = r(y) + λ_fmt·f(y) + λ_eff·e(y) + λ_sty·s(y)

OmniVChat-RL训练曲线:Omni模型奖励上升与回复长度下降

1,000 步训练曲线:上方为各奖励项与回复效率、平均回复长度;下方为每 20 步在开发集与基准集上的门控 Rubric 得分。

官方训练的观察:平均回复长度从约 100 词降到约 35 词,而 Rubric 得分持续上升——"答得更短还更准"正是效率项想要的效果。注意:训练奖励与基准分数不在同一量纲,不要直接互相比。

💻 快速上手:给 Omni 模型跑一次 OmniVChat 评测

# 1. 获取仓库(全量媒体约 28 GB,可按需排除 media/)
git clone https://gitcode.com/hf_mirrors/Harland/OmniVChat

# 2. 配置 LLM 评审(任意 OpenAI 兼容服务)
export JUDGE_API_BASE=https://your-endpoint/v1
export JUDGE_API_KEY=...
export JUDGE_MODEL=<judge model>

# 3. 打分:replies.jsonl 每行一个 {"id": ..., "response": ...}
python3 eval/score.py --data data/single_turn.jsonl --replies replies.jsonl

多轮实例只需按顺序喂入各轮视频,只对最后一轮的回答打分(key_points 就是最后一轮的标准)。

📁 仓库文件资料速查

路径 说明
data/single_turn.jsonl 2,550 条单轮实例标注
data/multi_turn.jsonl 250 条多轮实例标注
media/ 全量 1080p 带音频视频,约 28 GB
eval/score.py 评测打分脚本
reward/reward.py 奖励函数(评测/训练共用)
reward/trainer_adapter.py GSPO 训练器适配层
examples/index.json 17 个子类别示例索引
examples/clips/ 每个子类别的小体积示例视频
LICENSE CC BY-NC-ND 4.0,仅限学术研究与模型评测

✨ 小结

  • OmniVChat 把"Omni 模型的能力"落成了一张可执行的清单:5 大类、17 子类别、2,800 条带声音的对话视频;
  • 5 类各管一段:DSLP 管对话状态、MEA 管音画对齐、MSA 管自我认知、AH 管反幻觉、ER 管情绪识别;
  • 分层 Rubric(Tier 0 前置门槛 + Tier 1–3 逐级解锁)+ 单一评审实现,让 Omni 模型评测既严格又可复现;
  • 想动手:克隆仓库、配好 LLM 评审、跑一遍 eval/score.py,就能拿到你手里 Omni 模型的"能力体检报告"。
登录后查看全文
OmniVChat