AI 替你审片:FlowKit 多 Provider 视频评审机制与自动重生成流程完整解析
AI 替你审片:FlowKit 多 Provider 视频评审机制与自动重生成流程完整解析
FlowKit 是一款让 AI Agent 替你跑通整条 AI 视频生产线的开源系统。它内置的多 Provider 视频评审机制是质量守门员:自动抽帧拼图、交给 AI 视觉模型逐帧打分、按严重度给缺陷定级,再自动为不合格场景发起视频重生成。本文带你完整拆解这套「审片 → 定级 → 重生」流程的设计思路与落地细节。
为什么 AI 生成的视频必须「再审一遍」
FlowKit 把「故事 → 参考图 → 场景图 → 8 秒视频 → 旁白 → 成片」整条链路自动化,但 AI 视频模型有个天然短板:8 秒之后画面容易"崩"。角色会多长出肢体、相似的角色会互相串味、动作做完又撤销、AI 甚至会凭空画出真实品牌 logo。
这些坑人工肉眼很难在几十条成片里逐帧盯出来。FlowKit 的解法是给视频配一个「AI 审片员」——把评审规则固化成评分量规(rubric),让视觉模型按同一把尺子给每个场景打分,分数不达标就自动触发生成链路补位。这套能力由评审引擎 agent/services/video_reviewer.py 实现。
评审第一步:抽帧 + 拼 contact sheet
评审不直接"看视频",而是先用 ffmpeg 按指定帧率抽帧,再把帧拼成一张张缩略图网格(contact sheet),一次喂给视觉模型,省 token 又省往返:
- light 模式:4 fps,8 秒视频约 32 帧,速度快,适合先做问题初筛
- deep 模式:8 fps,8 秒视频约 64 帧,更彻底,能抓细微伪影,适合导出前复核
抽帧后帧会被排进 3×3 网格(REVIEW_SHEET_COLS / REVIEW_SHEET_ROWS 可调),并尽量烧录时间戳,方便模型按 3s-5s 这样的时间区间定位问题。相关参数集中在 agent/config.py。
场景视频 ──ffmpeg 抽帧──▶ 单帧序列 ──tile 拼图──▶ contact sheet(3×3 网格)
│
▼
交给视觉评审模型打分
拼图的列数算法还有个巧思:会挑选能整除当前帧数的最大列数,让每个格子都填满,避免"空白色块"被模型误读成视频缺陷(这段逻辑见 _create_contact_sheets)。
多 Provider 评审:审片员可以"换人"
这是 FlowKit 评审机制最有意思的地方:谁来做视觉分析,是运行时可热切换的。系统抽象出"角色(role)"概念——当前只有一个角色 video_review,为它配置 provider / model / effort 三元组即可。
内置 4 个评审 Provider,定义在 agent/services/cli_providers.py:
| Provider | 形态 | 特点 |
|---|---|---|
muse |
Agent 自己 | 无 CLI、无模型、无额度;读 contact sheet 手动打分(官方内置选项) |
claude |
Claude Code CLI | 默认评审员,支持 sonnet/opus/haiku 等模型别名 |
agy |
Google Antigravity CLI | 模型名内嵌 effort,model 与 effort 互斥 |
codex |
OpenAI Codex CLI | 只读沙箱运行,直接把图片字节喂给模型 |
配置写在一个小文件 agent/providers.json 里,改完热加载、无需重启服务:
{
"active": "claude",
"roles": {
"video_review": { "provider": "claude", "model": null, "effort": null }
}
}
model / effort 为 null 就表示"用该 CLI 自己的默认"。角色到具体 CLI 的解析由 resolve_role() 完成——它会兜底:写错 provider、写了该 CLI 不接受的 effort 档位,都会被安全丢弃并回退,而不是把烂参数扔给子进程几秒后才报错。不同 CLI 的差异(命令参数、effort 档位、模型目录是否封闭)都被收敛在 cli_providers.py 里,调用方无需关心细节。
💡 想临时"换个审片员",跑
/fk-change-provider即可交互式切换,Dashboard 的 Settings 里也有同样的控件,详见 skills/fk-change-provider.md。
六个维度打分 + 三级缺陷定级
视觉模型按一套固定量规输出结构化结果。总分是 6 个维度的加权平均,权重如下(定义见 _WEIGHTS):
| 维度 | 权重 | 检查什么 |
|---|---|---|
character_consistency 角色一致性 |
25% | 角色是否匹配参考图(物种/肢体/服装稳定) |
prompt_adherence 提示词贴合度 |
20% | 视频是否符合提示词(角色、动作、角色关系) |
motion_quality 运动质量 |
20% | 运动是否平滑,无抖动/反向/瞬移 |
visual_fidelity 视觉保真度 |
15% | 清晰度、无伪影/模糊/品牌 logo |
temporal_coherence 时序连贯性 |
10% | 跨帧光影/背景/比例是否一致 |
composition 构图 |
10% | 构图是否贴合镜头方向、景深与平衡 |
角色一致性权重最高,正是因为它最影响"能不能用"。FlowKit 用参考图系统保证同一角色跨场景长得一样——上图的"医生"在手术室、会诊等多个场景里脸、眼镜、白大褂始终一致,而评审会反过来校验:一旦角色在视频里"漂移"(变形、换物种、肢体数量变化),character_consistency 会被直接压分。
总分再映射成一个判定(_verdict):
| 分数区间 | 判定 | 建议动作 |
|---|---|---|
| 9.0–10.0 | excellent |
直接出片 |
| 7.5–8.9 | good |
可用,可选微调 |
| 6.0–7.4 | acceptable |
裁掉可用片段、补弱处 |
| 4.0–5.9 | poor |
先重生场景图,再重生视频 |
| 0–3.9 | unusable |
重写提示词、从头重生 |
缺陷则按严重度分三级:
- CRITICAL(受影响维度自动降到 0–3):角色漂移、品种/角色错乱、角色互换、品牌 logo、角色数量错误
- HIGH(降到 4–6):镜头漂移、物体变形、反向运动、动物角色长出手、比例失调
- MINOR(降到 7–8):道具数量、服装细节、背景文字乱码、小配件消失
这里有两条"硬约束"防止模型嘴硬:只要出现任意 CRITICAL,character_consistency 会被强制压到 3.0 以下,且总分被封顶在 5.9(保证判定不可能高于 acceptable)。这套封顶逻辑在 score_review_answer() 里统一执行,所有评审后端(CLI、SDK、手动打分)走的都是同一套规则,谁打分都一样严。
评审还会自动产出一份 fix_guide 修复建议:根据最低分项和 CRITICAL 错误模式,给出具体下一步(见 _fix_guide),比如"角色漂移 → 简化提示词、加 steady camera, minimal movement"。
自动重生成:评审结果直接驱动补位
审完不是终点,分数能直接驱动生产线补位。核心端点是 POST /api/videos/<VID>/review-regenerate,它评审完会自动为"坏场景"入队 REGENERATE_VIDEO 请求,由 worker 走和当初完全相同的 Provider 生成链路重做(入口在 agent/api/reviews.py)。
关键在决策函数 _decide_regenerations() 的"有界"设计:
- 只有判定落在
bad_verdicts(默认poor/unusable)或含 CRITICAL 的场景才会重生 - 每个场景历史上最多入队
max_regenerations次(默认 1 次),跨所有轮次累计计数 - 没有可重生依据的场景图(缺
image_media_id)会安全跳过
这避免了"模型反复不满意 → 无限重生烧额度"的死循环,把重生成变成一条有预算上限的自愈流水线。如果评审是 Agent 自己手动打的分(muse 路径),把同一份 scores 传进 review-regenerate 的 scores 字段即可,服务端跳过 CLI 评审、直接按分数算出 VideoReview 再走同样的重生逻辑。
评审引擎本身是 Provider 中立的:file:// 本地路径直接用、http(s) 远程 URL 自动下载、下载失败再用 Flow 的 get_media 兜底重签 URL(见 _fetch_scene_video)。所以不管视频是 Google Flow 生成还是 assistant Provider 生成的,评审和重生都能跑。
三种使用姿势
1. Skill 命令(推荐,AI Agent 一键跑)
/fk-review-video <video_id> --mode light --by cli
先 light 初筛定位问题场景,再对可疑场景 deep 复核;结果会打印一张「场景 × 分数 × 判定 × 错误 × 可用片段」汇总表并给出建议动作。完整配方见 skills/fk-review-video.md。
2. REST API
# 评审整个视频的所有场景
curl -X POST "http://127.0.0.1:8100/api/videos/<VID>/review?project_id=<PID>&mode=light"
# 评审 + 自动重生成不合格场景(每场景最多重生 1 次)
curl -X POST http://127.0.0.1:8100/api/videos/<VID>/review-regenerate \
-H "Content-Type: application/json" \
-d '{"project_id": "<PID>", "mode": "light", "max_regenerations": 1}'
3. Dashboard 可视化
在 Pipeline 视图 里点开任意场景的 Review 标签页,就能一键跑 light/deep 评审,实时看到判定、六维分数、错误清单、可用片段和修复建议——组件在 SceneDetailSheet.tsx。
另外还配了一个本地网页评审板 /fk-review-board,可逐场景内联播放、打标签(OK / 重生图 / 重生视频 / 编辑)并导出反馈 JSON,适合人肉最终把关。
小结
FlowKit 的视频评审机制,本质是把"人工审片"沉淀成一套可复用的工程规则:
- 抽帧拼图把"看视频"变成"看图",省 token、可批量
- 多 Provider 可热切换,审片员(
muse/claude/agy/codex)随角色配置自由换,改 providers.json 即生效 - 六维加权 + 三级严重度 + CRITICAL 硬封顶,保证所有打分后端一把尺子、谁都不嘴硬
- 评审结果直接驱动有界的自动重生成,把补位变成一条有预算上限的自愈流水线
对新手来说,记住一条主线就够了:/fk-review-video 审 → 看 verdict 和 errors → 不合格场景自动重生 → 再审一次确认。审片这件事,交给 AI 替你盯。


