MOSS-VL-Realtime-SGLANG控制token清单:silence、round_start如何驱动实时响应

原创2026-10-18 17:56:191,985 阅读
文章标签:人工智能大模型多模态计算机视觉视频

MOSS-VL-Realtime-SGLANG控制token清单:silence、round_start如何驱动实时响应

MOSS-VL-Realtime-SGLANG 是面向流式视频理解的实时多模态模型仓库,它的实时响应能力由三个控制 token 驱动:<|silence|>(静音)、<|round_start|>(轮次开始)与 <|round_end|>(轮次结束)。对新手来说,理解这三个控制 token 是如何在推理循环中流转的,就能看懂"模型为什么有时不说话、何时开口、何时收尾",这也是应用层正确渲染实时字幕的关键。

📌 为什么实时视频理解需要控制 token

与"一问一答"的离线多模态模型不同,MOSS-VL-Realtime 的工作方式是持续的流式会话:

  • 应用(摄像头、屏幕、视频文件)不断向会话推入带时间戳的画面帧;
  • 用户可以在任意时刻追问;
  • 模型逐 token 生成,并随时决定"现在该说话还是保持安静"。

在这条永不停止的输出流里,应用层必须能区分"模型正在回答的正文"和"流程标记"。控制 token 就是这类流程标记:它们不是回答内容,而是驱动实时响应节奏的信号。相关设计在 README.md 的 Features 一节(连续理解、随时提问、主动静音、动态更新回答)有概括。

🗂 3 个核心控制 token 速览

控制 token 含义 产生时机 应用层建议
`< silence >` 静音 / 空转信号
`< round_start >` 新一轮回答开始
`< round_end >` 一轮回答结束

其中 <|silence|> 是词表中的特殊 token(id 151671),与 <|time_start|>、<|response|> 等一起注册在 tokenizer_config.json 的 additional_special_tokens 中;<|round_start|> / <|round_end|> 则由推理引擎在运行时直接写入输出队列。

🔇 silence:让模型"闭嘴"并进入低功耗等待

<|silence|> 是整套实时响应机制的核心,它承担三个角色:

1. 模型层面的"不说话"决策。 内置系统提示词明确规定:当无法回答或回答完毕时,模型应直接输出 <|silence|>(见 modeling_moss_vl.py)。也就是说,"沉默"是被训练进模型行为的一部分,而不是应用层的猜测。

2. 推理循环层面的"暂停等待"。 主循环每生成一个 token 后都会检查:如果该 token 恰好是 <|silence|>,就把 should_wait_for_new_input 置为真(modeling_moss_vl.py)。随后引擎不再空转刷 token,而是以 20ms 间隔轮询新帧和新问题队列(modeling_moss_vl.py)——代码注释特别提到,这样写是为了避免独占 GIL,防止同进程内的 ASR 等组件在会话空转期间被"饿死"。

3. 分布对齐层面的"垫场"。 训练数据中每个 assistant 轮次都以 <|silence|> 开头;当新问题与画面帧在同一周期到达时,推理端会手动补插一个 <|silence|>,保持与训练分布一致(modeling_moss_vl.py)。

此外还有一处细节:静音置信度阈值 silence_threshold 被固定为 0.0,即不再按概率压制 <|silence|> 的输出——注释说明过高的阈值(如 0.6)会导致"该沉默却开口"的流式伪影,并不建议调高(modeling_moss_vl.py)。

📡 round_start / round_end:标记回答轮次的起止

<|round_start|>(轮次开始):当引擎从队列中取出新的用户问题时,会先向输出队列写入 <|round_start|>,同时清空流式解码的 token 缓冲区(modeling_moss_vl.py)。对应用层而言,它是"模型准备开口"的最可靠信号——收到它就可以新建一条消息气泡。

<|round_end|>(轮次结束):一轮回答生成完毕后写入输出队列(modeling_moss_vl.py);即便该轮生成抛出异常,也会先写入 <a href="https://link.gitcode.com/i/d5072a747ecd57c9a8208262471c74c5" target="_blank">ERROR] ... 再补一个 <|round_end|> 兜底([modeling_moss_vl.py),保证"有开始必有结束",前端状态机不会卡死。离线流式生成同样用这对标记包裹整轮输出(modeling_moss_vl.py)。

🔁 一次实时响应的 token 流转

把上面三块拼起来,一次完整的实时响应过程如下:

  1. 会话创建后先做纯文本 prefill(系统提示词 + 生成引导),此时尚无画面(modeling_moss_vl.py);
  2. 应用通过 push_frame(image, timestamp=...) 推帧,模型逐 token 生成;无事发生就持续输出 <|silence|> 并进入低功耗等待;
  3. 应用 push_prompt("现在发生了什么?") 注入新问题 → 输出队列先收到 <|round_start|>(帧同时到达时还可能补一个 <|silence|> 对齐);
  4. 模型开始流式输出回答文本,直到本轮结束写入 <|round_end|>;
  5. 会话继续等待下一帧、下一问,直到 session.close()。

对应的 Python 会话 API(push_frame / push_prompt / poll_output / stream_outputs)说明与可运行示例见 inference.md,轮询接口的实现位于 modeling_moss_vl.py。

✅ 应用层处理控制 token 清单

官方在 README.md 与 README_zh.md 的 Limitations 一节明确提醒:应用必须自行处理 <|silence|>、<|round_start|>、<|round_end|> 等控制 token。落地时按下面四条即可:

  • 不要展示:凡是 <|...|> 形式的片段一律不渲染为正文,它们是流程信号;
  • 以 <|round_start|> 开场:开启新气泡 / 新播报会话;
  • 以 <|round_end|> 收尾:结束气泡、停止 TTS;
  • 连续的 <|silence|> 属正常空转:不要当作错误或超时处理。

📚 关键文件定位清单

内容 位置
实时生成主循环(silence 判定与流式输出) modeling_moss_vl.py
队列排空、`< round_start
静音阈值与特殊 token 抑制 modeling_moss_vl.py
`< round_end
特殊 token 注册(含 `< silence
Python 直推会话 API 与示例 inference.md
模型特性与控制 token 提示 README.md / README_zh.md

看懂这份控制 token 清单后,你就可以在自建应用里正确区分模型的"开口、沉默与收尾",把 MOSS-VL-Realtime-SGLANG 的流式输出稳定地接入字幕、播报等实时交互场景。

登录后查看全文
MOSS-VL-Realtime-SGLANG