Openjutsu 提速秘诀:SolarRenderer 4 步采样让视频渲染快 4 倍的原理
Openjutsu 提速秘诀:SolarRenderer 4 步采样让视频渲染快 4 倍的原理
Openjutsu 是一个开源的本地视频角色替换工具,基于 ComfyUI 和 MiniMax H3 实现"一键换人"。而它从图片生成视频(From picture)模式默认搭载的 SolarRenderer,正是 Openjutsu 视频渲染提速的关键:借助 4 步采样,把最耗时的去噪阶段压缩到极限,让渲染速度相比常规视频生成方案快数倍。
Openjutsu 里的 SolarRenderer:默认渲染器,而不是附加选项
SolarRenderer 在 Openjutsu 中不是可有可无的插件,而是 From picture 模式的默认视频渲染器。它通过官方 ComfyUI 自定义节点完成 LoRA 加载、条件构建和四步采样,与原生 H3 渲染器二选一。
两者最直观的差异就在采样步数上:
| 渲染器 | 默认步数 | 说明 |
|---|---|---|
| SolarRenderer | 4 步 | 配合 4-step LoRA + control LoRA,默认选项 |
| H3 原生 | 6 步 | 配合 DMAD 加速 LoRA;不用加速 LoRA 时建议 20 步以上 |
在设置界面里,把 Video renderer 选为 SolarRenderer,应用会自动把 Steps 设为 4(选 H3 则回到 6 步)——切换即提速,无需手动调参。
安装配置 SolarRenderer:3 步完成提速设置
想让渲染跑起来,只需三件事(详见 workflows/picture/README.md):
- 安装自定义节点:装好官方 SolarRenderer 节点包,重启 ComfyUI。它运行在 ComfyUI 现有的 Python 环境里,不额外占用 Openjutsu 的依赖。
- 准备一对 LoRA 文件:下载 4-step LoRA(
solarrenderer_4step_lora.safetensors)和 control LoRA(solarrenderer_control_lora.safetensors),放入ComfyUI/models/loras(或子文件夹)。应用里可选择 rank-384(官方原版)或 rank-64(压缩版)两个档位。 - 在应用里确认设置:渲染器选 SolarRenderer、两个 LoRA 文件选择器指向对应文件即可。Openjutsu 会自动把文件路径写进工作流的加载节点(设置默认值见 lib/picture.ts)。
💡 提示:应用会先对照 ComfyUI 的节点和模型清单做完整性检查,缺节点或缺 LoRA 文件会直接列出,不用等任务跑一半才报错。
4 步采样如何工作:从 FLUX 到 SolarRenderer 的三段式流水线
Solar 工作流(workflows/picture/from_picture_solar_flux3.api.json)把渲染拆成三个环节,各自分工明确:
- FLUX 准备首帧:把角色照片摆进原始视频帧的姿态,保持人物构图和背景,产出一张"就位"的起始图。
- Metric3D 生成法线贴图:从视频帧推断表面法线,形成"动作引导视频"。它只告诉模型身体怎么动(姿态、手势、朝向、节奏),不描述发生了什么。
- SolarRenderer 合成视频:以法线运动引导 + 首帧图为条件,在 4 步内完成整段视频采样。
真正的提速发生在第三步。视频生成的耗时绝大部分花在去噪采样上(README 实测:4060 Ti 渲染 6 秒 480p 片段需 6–13 分钟,"most of it in H3 sampling"),而采样耗时基本与步数成正比:
- 常规高质量视频生成往往要 16–20 步;
- 原生 H3 配加速 LoRA 也要 6 步;
- SolarRenderer 用 4-step LoRA 把步数压到 4 步。
4 步 LoRA 相当于把模型的去噪轨迹"蒸馏"到 4 次迭代内走完,再配合 LCM 采样器(更高效的快速求解器)和专用的 4 步 sigma 调度(工作流中的 SolarRendererSigmas 节点),整个采样阶段只需 4 次模型前向传播。步数除以 4 量级,这就是"渲染快 4 倍"的数学来源。
速度不掉质的秘密:Control LoRA 与法线运动引导
"少跑 12 步"听起来会损失动作一致性,SolarRenderer 靠两样东西补回来:
- Control LoRA 接力:4-step LoRA 的输出以强度 1.0 串接 control LoRA,由官方 SolarRenderer 加载器统一注入模型。前者负责"走得快",后者负责"跟得准"。
- 法线贴图做软性运动条件:法线视频驱动主体的几何运动,姿态、手势、头部朝向和节奏都来自原始视频;采样期间音频通道保持静默占位,成片会换回原始音轨,因此整条链路不需要音频 VAE,又省一份解码开销。
两者叠加,4 步快采样依然能跟上原视频的动作细节。
进阶选择与长片段注意事项
选 rank-384 还是 rank-64? 官方在 141 帧、768×1376 的测试里对比过两档:rank-64 明显缩小了 LoRA 文件体积,而采样时间和峰值显存"基本不变"。显存紧张或想省下载体积,选 rank-64 即可。
两条使用红线:
- SolarRenderer 至少需要 22 帧(不足会被应用直接拦下);
- 单片段最长 15 秒,且无需 context loop——与原生 H3 能力对齐。
超过 6 秒的长片段会明显变慢,尤其高分辨率下。更隐蔽的坑是:节点包内置的"静默缓冲"模板只覆盖 170 帧,超出会报 the held silence covers 170 frames。仓库自带补丁 patches/solarrenderer-long-clips.patch 可以扩展这段静默模板(保留首尾、循环中间稳定段),在 SolarRenderer 节点包目录下应用后重启 ComfyUI 即可。
实测性能参考:4060 Ti 16 GB 上的表现
官方记录的两组实测数据:
| 场景 | 配置 | 耗时 |
|---|---|---|
| H3 原生 480p 换人 | 6 秒片段,RTX 4060 Ti 16 GB | 6–13 分钟 |
| SolarRenderer rank-64 | 768×1376,209 帧(约 8.7 秒)单片段 | 34 分 23 秒,峰值显存约 15.9 GB |
对比 20 步级别的常规采样方案,4 步采样节省的正是采样阶段那 4 倍量级的时间,而画面动作保真度靠 control LoRA 与法线引导维持。
快速上手:从图片到提速视频 3 步走
- 在 Object swap → From picture 页签选择视频和角色照片,生成并确认预览图(Use this image)。
- 渲染设置里保持 Video renderer = SolarRenderer、Steps = 4,选好两个 LoRA 文件的路径。
- 点击 Render video:应用自动写入步数、种子与法线参考尺寸,输出保留原音轨的单片段视频。
核心文件索引:
- 工作流定义:workflows/picture/from_picture_solar_flux3.api.json
- 渲染设置与校验逻辑:lib/picture.ts
- 流程与模型说明:workflows/picture/README.md
- 长片段补丁:patches/solarrenderer-long-clips.patch

