AI 替你审片:FlowKit 多 Provider 视频评审机制与自动重生成流程完整解析

原创2026-10-18 21:45:431,991 阅读

AI 替你审片:FlowKit 多 Provider 视频评审机制与自动重生成流程完整解析

FlowKit 是一款让 AI Agent 替你跑通整条 AI 视频生产线的开源系统。它内置的多 Provider 视频评审机制是质量守门员:自动抽帧拼图、交给 AI 视觉模型逐帧打分、按严重度给缺陷定级,再自动为不合格场景发起视频重生成。本文带你完整拆解这套「审片 → 定级 → 重生」流程的设计思路与落地细节。

FlowKit 视频评审控制台:KPI 卡片与需要关注的失败请求面板

为什么 AI 生成的视频必须「再审一遍」

FlowKit 把「故事 → 参考图 → 场景图 → 8 秒视频 → 旁白 → 成片」整条链路自动化,但 AI 视频模型有个天然短板:8 秒之后画面容易"崩"。角色会多长出肢体、相似的角色会互相串味、动作做完又撤销、AI 甚至会凭空画出真实品牌 logo。

这些坑人工肉眼很难在几十条成片里逐帧盯出来。FlowKit 的解法是给视频配一个「AI 审片员」——把评审规则固化成评分量规(rubric),让视觉模型按同一把尺子给每个场景打分,分数不达标就自动触发生成链路补位。这套能力由评审引擎 agent/services/video_reviewer.py 实现。

评审第一步:抽帧 + 拼 contact sheet

评审不直接"看视频",而是先用 ffmpeg 按指定帧率抽帧,再把帧拼成一张张缩略图网格(contact sheet),一次喂给视觉模型,省 token 又省往返:

  • light 模式:4 fps,8 秒视频约 32 帧,速度快,适合先做问题初筛
  • deep 模式:8 fps,8 秒视频约 64 帧,更彻底,能抓细微伪影,适合导出前复核

抽帧后帧会被排进 3×3 网格(REVIEW_SHEET_COLS / REVIEW_SHEET_ROWS 可调),并尽量烧录时间戳,方便模型按 3s-5s 这样的时间区间定位问题。相关参数集中在 agent/config.py。

场景视频 ──ffmpeg 抽帧──▶ 单帧序列 ──tile 拼图──▶ contact sheet(3×3 网格)
                                                        │
                                                        ▼
                                            交给视觉评审模型打分

拼图的列数算法还有个巧思:会挑选能整除当前帧数的最大列数,让每个格子都填满,避免"空白色块"被模型误读成视频缺陷(这段逻辑见 _create_contact_sheets)。

多 Provider 评审:审片员可以"换人"

这是 FlowKit 评审机制最有意思的地方:谁来做视觉分析,是运行时可热切换的。系统抽象出"角色(role)"概念——当前只有一个角色 video_review,为它配置 provider / model / effort 三元组即可。

内置 4 个评审 Provider,定义在 agent/services/cli_providers.py:

Provider 形态 特点
muse Agent 自己 无 CLI、无模型、无额度;读 contact sheet 手动打分(官方内置选项)
claude Claude Code CLI 默认评审员,支持 sonnet/opus/haiku 等模型别名
agy Google Antigravity CLI 模型名内嵌 effort,model 与 effort 互斥
codex OpenAI Codex CLI 只读沙箱运行,直接把图片字节喂给模型

配置写在一个小文件 agent/providers.json 里,改完热加载、无需重启服务:

{
  "active": "claude",
  "roles": {
    "video_review": { "provider": "claude", "model": null, "effort": null }
  }
}

model / effort 为 null 就表示"用该 CLI 自己的默认"。角色到具体 CLI 的解析由 resolve_role() 完成——它会兜底:写错 provider、写了该 CLI 不接受的 effort 档位,都会被安全丢弃并回退,而不是把烂参数扔给子进程几秒后才报错。不同 CLI 的差异(命令参数、effort 档位、模型目录是否封闭)都被收敛在 cli_providers.py 里,调用方无需关心细节。

💡 想临时"换个审片员",跑 /fk-change-provider 即可交互式切换,Dashboard 的 Settings 里也有同样的控件,详见 skills/fk-change-provider.md。

六个维度打分 + 三级缺陷定级

视觉模型按一套固定量规输出结构化结果。总分是 6 个维度的加权平均,权重如下(定义见 _WEIGHTS):

维度 权重 检查什么
character_consistency 角色一致性 25% 角色是否匹配参考图(物种/肢体/服装稳定)
prompt_adherence 提示词贴合度 20% 视频是否符合提示词(角色、动作、角色关系)
motion_quality 运动质量 20% 运动是否平滑,无抖动/反向/瞬移
visual_fidelity 视觉保真度 15% 清晰度、无伪影/模糊/品牌 logo
temporal_coherence 时序连贯性 10% 跨帧光影/背景/比例是否一致
composition 构图 10% 构图是否贴合镜头方向、景深与平衡

FlowKit 视频评审维度之一:角色一致性(同一医生角色跨场景保持稳定)

角色一致性权重最高,正是因为它最影响"能不能用"。FlowKit 用参考图系统保证同一角色跨场景长得一样——上图的"医生"在手术室、会诊等多个场景里脸、眼镜、白大褂始终一致,而评审会反过来校验:一旦角色在视频里"漂移"(变形、换物种、肢体数量变化),character_consistency 会被直接压分。

总分再映射成一个判定(_verdict):

分数区间 判定 建议动作
9.0–10.0 excellent 直接出片
7.5–8.9 good 可用,可选微调
6.0–7.4 acceptable 裁掉可用片段、补弱处
4.0–5.9 poor 先重生场景图,再重生视频
0–3.9 unusable 重写提示词、从头重生

缺陷则按严重度分三级:

  • CRITICAL(受影响维度自动降到 0–3):角色漂移、品种/角色错乱、角色互换、品牌 logo、角色数量错误
  • HIGH(降到 4–6):镜头漂移、物体变形、反向运动、动物角色长出手、比例失调
  • MINOR(降到 7–8):道具数量、服装细节、背景文字乱码、小配件消失

这里有两条"硬约束"防止模型嘴硬:只要出现任意 CRITICAL,character_consistency 会被强制压到 3.0 以下,且总分被封顶在 5.9(保证判定不可能高于 acceptable)。这套封顶逻辑在 score_review_answer() 里统一执行,所有评审后端(CLI、SDK、手动打分)走的都是同一套规则,谁打分都一样严。

评审还会自动产出一份 fix_guide 修复建议:根据最低分项和 CRITICAL 错误模式,给出具体下一步(见 _fix_guide),比如"角色漂移 → 简化提示词、加 steady camera, minimal movement"。

自动重生成:评审结果直接驱动补位

审完不是终点,分数能直接驱动生产线补位。核心端点是 POST /api/videos/<VID>/review-regenerate,它评审完会自动为"坏场景"入队 REGENERATE_VIDEO 请求,由 worker 走和当初完全相同的 Provider 生成链路重做(入口在 agent/api/reviews.py)。

关键在决策函数 _decide_regenerations() 的"有界"设计:

  • 只有判定落在 bad_verdicts(默认 poor / unusable)或含 CRITICAL 的场景才会重生
  • 每个场景历史上最多入队 max_regenerations 次(默认 1 次),跨所有轮次累计计数
  • 没有可重生依据的场景图(缺 image_media_id)会安全跳过

这避免了"模型反复不满意 → 无限重生烧额度"的死循环,把重生成变成一条有预算上限的自愈流水线。如果评审是 Agent 自己手动打的分(muse 路径),把同一份 scores 传进 review-regenerate 的 scores 字段即可,服务端跳过 CLI 评审、直接按分数算出 VideoReview 再走同样的重生逻辑。

评审引擎本身是 Provider 中立的:file:// 本地路径直接用、http(s) 远程 URL 自动下载、下载失败再用 Flow 的 get_media 兜底重签 URL(见 _fetch_scene_video)。所以不管视频是 Google Flow 生成还是 assistant Provider 生成的,评审和重生都能跑。

三种使用姿势

1. Skill 命令(推荐,AI Agent 一键跑)

/fk-review-video <video_id> --mode light --by cli

先 light 初筛定位问题场景,再对可疑场景 deep 复核;结果会打印一张「场景 × 分数 × 判定 × 错误 × 可用片段」汇总表并给出建议动作。完整配方见 skills/fk-review-video.md。

2. REST API

# 评审整个视频的所有场景
curl -X POST "http://127.0.0.1:8100/api/videos/<VID>/review?project_id=<PID>&mode=light"

# 评审 + 自动重生成不合格场景(每场景最多重生 1 次)
curl -X POST http://127.0.0.1:8100/api/videos/<VID>/review-regenerate \
  -H "Content-Type: application/json" \
  -d '{"project_id": "<PID>", "mode": "light", "max_regenerations": 1}'

3. Dashboard 可视化

在 Pipeline 视图 里点开任意场景的 Review 标签页,就能一键跑 light/deep 评审,实时看到判定、六维分数、错误清单、可用片段和修复建议——组件在 SceneDetailSheet.tsx。

FlowKit 场景流水线视图:视频阶段按场景卡片展示,可触发 AI 视频评审

另外还配了一个本地网页评审板 /fk-review-board,可逐场景内联播放、打标签(OK / 重生图 / 重生视频 / 编辑)并导出反馈 JSON,适合人肉最终把关。

小结

FlowKit 的视频评审机制,本质是把"人工审片"沉淀成一套可复用的工程规则:

  • 抽帧拼图把"看视频"变成"看图",省 token、可批量
  • 多 Provider 可热切换,审片员(muse/claude/agy/codex)随角色配置自由换,改 providers.json 即生效
  • 六维加权 + 三级严重度 + CRITICAL 硬封顶,保证所有打分后端一把尺子、谁都不嘴硬
  • 评审结果直接驱动有界的自动重生成,把补位变成一条有预算上限的自愈流水线

对新手来说,记住一条主线就够了:/fk-review-video 审 → 看 verdict 和 errors → 不合格场景自动重生 → 再审一次确认。审片这件事,交给 AI 替你盯。

登录后查看全文
flowkit