如何用代码逐帧渲染一支音乐PV?world-execute-me-dsh-pv 项目概览与完整出片流程揭秘
如何用代码逐帧渲染一支音乐PV?world-execute-me-dsh-pv 项目概览与完整出片流程揭秘
world-execute-me-dsh-pv 是一个用代码逐帧渲染音乐PV的开源项目:它不用任何视频剪辑软件,也没有手工关键帧,每一帧画面都是"歌曲时间 t"的纯函数。左边是 DeepSeek Harness(dsh)风格的聊天窗口,右边是她"所在的世界"——一台 TUI 风格的模型可视化引擎。你只需自备歌曲,一条命令就能从头渲染出完整的 MV。
快速上手:一键出片的环境准备步骤 🚀
想完整复现这支片子,只需准备 4 样东西:
| 依赖 | 版本要求 | 用途 |
|---|---|---|
| Python | 3.12+ | 渲染引擎、页面生成 |
| Node | 20+ | Playwright 无头浏览器截图 |
| ffmpeg | 在 PATH 中 | 音频混合与视频转码 |
| 字体 | Windows 自带,其他系统可替换 | 终端字、中文字,见 docs/FONTS.md |
克隆仓库并完成初始化:
git clone https://gitcode.com/gh_mirrors/wo/world-execute-me-dsh-pv
cd world-execute-me-dsh-pv
pip install -r requirements.txt
npm install
npx playwright install chromium
然后把自备的歌曲放到 input/song.mp3(歌曲与歌词有版权,仓库不包含,详见 input/README.md),即可开始出片:
python build.py all # 检查 → 歌词 → 替身舞者 → 页面截图 → 渲染
python build.py all --4k # 另出 3840×2160 的 4K 版
输出在 out/ 目录:film.mp4 是 1280×720 成片,film_master.mp4 是无损 RGB 母版。CPU 渲染全片大约十几分钟到半小时;装有 CUDA 版 torch 时加 --gpu 参数会快很多。
核心原理:每一帧都是时间的纯函数
这套"代码出片"的精髓在 docs/HOW_IT_WORKS.md 中写得很直白:24 fps,画布 1280×720,给定时间 t,画面就是唯一确定的。这意味着没有镜头表要手工对齐、没有剪辑时间线——镜头切换、推拉、转场全部由代码编排。
右边:TUI 模型可视化引擎
右侧"她的世界"用 tuikit.py 逐字符画出来:Transformer、卷积、扩散采样、注意力、KV cache、RLHF……每一句歌词对应一个镜头,辉光、残影、扫描线都是后期代码叠加的效果。第一版镜头在 film/tui_pv_world_execute_20260926/full/,第二版重排了全部 96 个镜头的连续性与转场(continuity_full_v2/)。
左边:聊天窗口靠"HTML 截图"实现
左侧的 dsh 聊天窗口并不是在运行什么模型或服务器,而是:
- 每一帧拼一张静态 HTML 页面,直接用 dsh 前端自己的 CSS 和类名(build_frame.py);
- Playwright 无头 Chromium 把 5086 个页面逐帧截成
dsh_frames/NNNNN.png(seg_shot.mjs),文件名就是round(t × 24)。
合成由 dsh_her.py 负责:它在内存中把右侧引擎里画"她"的窗格替换成当帧的 dsh 截图,这样右边镜头的推拉、滑出等运镜就能直接作用在聊天窗口上。
时间对齐:唱词逐词落点
所有呼应动作都落在对应唱词的起音上。仓库里的 data/timing/word_timeline_notext.json 保存了不含文字的逐词时间,构建时 tools/lyrics.py 会从 LRCLIB 拉取歌词并逐行校验合并;歌曲版本用 sha256 指纹(data/song.json)核对,保证时间零点与成片一致。
完整出片流程:5 个阶段各司其职
python build.py all 实际按顺序执行 5 个阶段,每个阶段都能单独重跑:
check → lyrics → dancer → pages → render
- check:检查 ffmpeg、Node、Playwright、字体是否齐全,并核对歌曲指纹;
- lyrics:下载并合成逐词时间对齐的歌词;
- dancer:生成"替身舞者"帧。原片的舞者画面涉及第三方素材授权,构建时由 tools/placeholder_h3.py 用仓库内的立绘生成同帧数替身——她站着,随节拍轻轻摇摆;
- pages:
batch_a1.py…batch_g.py等分组脚本生成 HTML,Playwright 逐帧截图; - render:dsh_her.py 按 CPU 核数并行渲染出无损 720p 母版,再混入歌曲与结尾提示音(
chime_g.wav),按 BT.709 转码输出out/film.mp4。
时间线上,全片按 A1(开机)→ A2/A3(预训练、选择题)→ B(SFT/RLHF)→ C(部署)→ D(离开)→ E/F(占有、EXECUTION)→ G(鲸落)共 9 组镜头编排,各组页面脚本与时间区间一一对应,舞者时间表见 pv_full.py。
可选后处理:60fps 插帧与 4K 放大 🎞️
母版生成后不必重新截图和渲染,就能得到更高规格的播放版:
- 4K:加
--4k参数,从 720p 母版逐像素放大 3 倍得到out/film_4k.mp4; - 60 帧:用 FFmpeg 的
minterpolate滤镜做运动补偿插帧,导出 1080p/60fps 或 2K/60fps。实测 1080p 60 帧版比 720p 24 帧版只大约 15%。
完整参数、分段策略与文件大小 vs 运行时内存的区别,都写在 docs/60FPS_EXPORT.md 里。
仓库结构速览
| 路径 | 内容 |
|---|---|
| build.py | 一键出片入口 |
| tools/ | 歌词合成、替身舞者 |
| data/ | 逐词时间、歌曲指纹、舞者帧清单 |
| film/pv_dsh_frontend_20260927/ | 左侧 dsh 窗口:页面脚本、截图、合成与补丁 |
| film/tui_pv_world_execute_20260926/ | 右侧 TUI 引擎:tuikit、两版镜头 |
| film/mmd_motion_eval_20260927/pv_full.py | 舞者时间表 |
| docs/ | 制作原理、字体、60 帧导出 |
注意:目录名保留了制作时的工作名,代码之间靠相对位置互相找到,请勿改名。
许可与分享注意事项 ⚖️
- 代码:MIT(LICENSE);美术:鲸鱼娘立绘与表情为 CC BY-NC-SA 4.0,不得商用、需保留署名;
- 音乐与歌词的权利不属于本仓库,发布成片时应明确标注包含 AI 生成内容,默认非商业分享;
- 第三方素材清单见 NOTICE.md,一手授权来源见 docs/ASSET_SOURCES.md。
这是一支由代码"导演"的非官方同人 PV:从歌词时间对齐到像素级运镜,全部可复现。准备好你的歌曲,python build.py all,剩下的交给时间 t 吧。
