StreamEval快速入门指南：5步从下载到跑通交互式流式视频生成评测

StreamEval 是首个专门评测交互式流式视频生成的开源基准：在 15 到 300 秒的会话中，测试模型一边生成视频、一边响应新请求并保持上下文的能力。本文带你用 5 步完成 StreamEval 数据下载与交互式流式视频生成评测跑通，适合刚接触该基准的新手。

StreamEval 能评测什么？🎬

StreamEval 覆盖数字人交互、世界生成和视频编辑三大方向，共 5 项任务、10 个指标：

维度	说明
会话时长	15s / 30s / 60s / 120s / 300s 五个时长分层
完整基准	benchmark/v1/full 含 300 个条件，每个条件需 3 次独立重复
输入媒体	data/v1/ 共 738 个文件（音频、图像、视频），约 3.1 GB
更新频率	官方每月评测新模型并公布榜单结果

图示：基准子集的任务构成、输入类型与事件时间线。

目录结构速览 📂

下载数据后，你会看到三类核心文件（以 full 为例）：

文件	内容
benchmark/v1/full/cases.jsonl	会话初始化、时长与按时间线释放的输入事件
benchmark/v1/full/oracles.jsonl	期望结果与校验时间窗（仅供评测器使用，不会传给被测模型）
benchmark/v1/full/manifest.json	媒体路径、SHA-256 哈希、字节大小与角色

第三方输入视频的版权与署名信息见 benchmark/v1/ATTRIBUTION.md，许可注意事项见 NOTICE，各 roster 的详细说明见 benchmark/v1/README.md。

快速上手：5 步跑通评测

第 1 步：获取 StreamEval 基准数据

任选一种方式拿到数据（含 benchmark/v1 与 data/v1）：

方式 A：克隆仓库

git clone https://gitcode.com/hf_mirrors/StreamEval/StreamEval

方式 B：用下载 SDK

python -m pip install -U huggingface_hub

from huggingface_hub import snapshot_download

path = snapshot_download("StreamEval/StreamEval", repo_type="dataset")
print(path)

💡 如果访问需要鉴权，使用有权限的账号登录即可。

第 2 步：安装评测代码

在同一 Python 环境中安装 StreamEval 的评测代码与 CLI（streameval 命令），具体安装方式见官方文档的快速开始部分。

第 3 步：配置数据目录

把 STREAMEVAL_DATA 指向第 1 步下载的 data 目录：

export STREAMEVAL_DATA="<path>/data"

第 4 步：校验基准数据完整性

在评测代码仓库根目录执行，它会根据 benchmark/v1/full/manifest.json 中的 SHA-256 哈希逐一核对媒体文件：

streameval validate --benchmark benchmark/v1/full

图示：参考编辑打分（reference-editing scoring）示例。

第 5 步：运行模型评测

接入你的被测系统（用 ID 替换为系统标识），跑完整基准：

streameval evaluate --system ID --out runs_full \
  --benchmark benchmark/v1/full --population full

评分结果与会话记录都保存在本地目录（如 runs_full）。

如何选择评测子集？🧩

benchmark/v1/ 下共有 6 个 roster，可按需挑选：

Roster	适用场景
full	完整评测（300 个条件），与其他模型横向对比时必须用同一 roster
core	核心子集，快速验证链路是否跑通
text / text_extension	文本对话变体
development	开发调试
extension	扩展条件

公平对比的三条约定：同一 roster、3 次重复、同一套冻结的 judge 配置。

常见问题 FAQ 🙋

• oracles.jsonl 会被喂给模型吗？ 不会。期望答案与未来输入只在评测端使用。
• 数据能直接商用吗？ 基准数据为 CC BY 4.0；第三方视频保留原许可，发布编辑结果时需按 benchmark/v1/ATTRIBUTION.md 署名。
• 榜单多久更新？ 每月更新一次。

引用项目

如果 StreamEval 的交互式流式视频生成评测对你有帮助，请引用论文：

@article{streameval2026,
  title        = {StreamEval: Evaluating Interactive Streaming Video Generation Models},
  author       = {{StreamEval Team}},
  journal      = {arXiv preprint arXiv:2610.28402},
  year         = {2026}
}