如何把大字放在数字人身后:digital-human-koubo 景深字效果深度解析(Vision抠像+三层合成)
如何把大字放在数字人身后:digital-human-koubo 景深字效果深度解析(Vision抠像+三层合成)
digital-human-koubo 是一个开源的 AI 数字人口播项目:只需一张照片和一句话,就能由 AI Agent 自动完成写稿、生成对口型数字人、声音统一和剪辑包装,产出带货广告、教程、解说等成片。其中最吸睛的效果之一就是「景深字」(TextBehind)——把大字或数字放在数字人背后、背景之前,营造出类似影视飓风和 MrBeast 视频里的立体空间感。本文带你拆解这个效果的完整实现:Apple Vision 人像抠像 → 透明视频 → 三层合成,并给出一套可直接上手的操作步骤。
一、景深字到底长什么样?
普通字幕是“贴在画面上”的,而景深字的关键在于层次:人物在前景,文字在中景,背景在最后面。当文字从人物身后升起或砸入时,会有一种“大字真实地存在于主播背后世界”的错觉,非常抓眼球。
它的典型用途:
- 🎬 开场命题:0–3 秒把主题词放在主播身后,直接给钩子;
- 🔢 关键数字:价格 ¥999→¥99、销量、积分从 0 滚动;
- 📑 章节名 / 金句:在转场处强化记忆点。
官方建议一支片子用 2–4 次,别每句都用,否则效果就没了。
二、核心原理:三层合成
景深字的实现本质上就是把画面拆成三层再叠回去,references/packaging.md 里有专门的《景深字 TextBehind 怎么做》章节:
| 层 | 内容 | 来源 |
|---|---|---|
| 第 1 层(最底) | 原始口播视频(背景完整保留) | 生成好的 main.mp4 |
| 第 2 层(中间) | 大字 / 数字动画(升起、砸入、滚动、滑入四种模式) | Remotion 组件实时绘制 |
| 第 3 层(最上) | 抠出来的透明人像(webm,带 alpha 通道) | cutout_video.py 生成 |
对应源码在 Depth.tsx:最底层是原视频 <OffthreadVideo src={src} />,中间是文字动画层,最上层是 transparent 的抠像视频。两层视频逐帧对齐播放,人就会“盖”在文字前面。
文字层支持 4 种入场模式(mode 参数):
rise:从人身后升起(默认);slam:放大后砸入(1.7× → 0.96× → 1× 的过冲回弹);count:数字从 0 滚动到目标值,带千分位格式;slide:左右滑入,多行交替方向。
还支持 gradient 渐变字、outline 描边字、bgDim 背景压暗等参数,组件在 registry.tsx 中注册,9:16 竖屏有专属默认位置。
三、Vision 抠像:把人从视频里“挖”出来
景深字最大的技术难点是把人从每一帧里干净地抠出来。digital-human-koubo 用的是 macOS 系统自带的 Apple Vision 框架,不依赖第三方模型,也不上传任何视频。
3.1 逐帧分割:personmask.swift
personmask.swift 是一个命令行小程序,从标准输入读原始帧流(BGRA),逐帧调用 Vision 的 VNGeneratePersonSegmentationRequest(人像分割,精细档 qualityLevel = .accurate),再从标准输出吐出等尺寸的灰度遮罩。它默认取「人像分割」和「前景主体分割」两个结果的并集,人像边缘精细、偶尔出现的动物或物体也不会丢。
一个巧妙的设计:解码交给 ffmpeg。注释里写得很直白——AVAssetReader 遇到 AV1(M1/M2 无硬解)会静默出 0 帧,遇到 VFR 又会和 ffmpeg 的帧序列错位,两条流用同一个解码器就天然对齐。
3.2 遮罩加工:cutout_video.py
cutout_video.py 串起整个流水线:
python3 scripts/cutout_video.py public/main.mp4 public/main_cut_s4.webm --from 17.2 --to 22.4
- ffmpeg 把原视频解成 BGRA 帧流,喂给 personmask 得到逐帧遮罩;
- 对遮罩做
tmix平滑(相邻 N 帧取平均,压住边缘闪烁)→shrink/grow收缩或扩张边缘 →feather羽化; - 用 ffmpeg
alphamerge把遮罩合成回原视频,输出 VP9 + alpha 的透明 webm(体积小,Remotion 的OffthreadVideo transparent可直接用); - 顺手存一份灰度遮罩
_mask.mp4方便肉眼检查。
两个实用细节:
- 用
--from/--to只抠要用的那几秒——整条 1 分半的口播抠完要几分钟,只用 2–3 处的话按段抠快得多; - 脚本会统计人像占画面比例,超过 60% 会警告「几乎没有背景,景深字会被人挡住」(见 cutout_video.py),这时建议换中景素材或改用 NumberSpike / TiltLine。
⚠️ Vision 是 macOS 系统框架,所以抠像这一步需要 macOS;项目其余功能(生成、下载、质检、剪辑渲染)跨平台。
四、手把手实操:三步做出景深字
第 1 步:生成“留白”的口播素材
景深字对素材有硬性要求:中景、头顶和两侧有背景。生成口播时给提示词加上:
medium shot, leave headroom and background on both sides
在 SKILL.md 的流程里,这类段落会在 script.json 里标成 "shot": "depth",生成时就出中景。
第 2 步:按段抠像
只抠要放字的片段,输出透明 webm:
python3 scripts/cutout_video.py public/main.mp4 public/main_cut_s4.webm --from 17.2 --to 22.4
如果边缘有背景灰边就加 --shrink 2;头发丝被吃掉就 --shrink 0 --grow 1(会带一点背景色)。
第 3 步:在 pack 里声明 TextBehind
在工程的 edit.json 的 pack 数组里加一条(完整字段见 packaging.md):
{ "use": "TextBehind", "src": "main.mp4", "cutout": "main_cut_s4.webm",
"cutoutFrom": 17.2, "at": "4:", "until": "4:end",
"lines": [{ "t": "体验最好" }], "gradient": ["#FFFFFF", "#C9D2E0"] }
几个对齐要点:
cutoutFrom必须和抠像时的--from完全一致,这样透明人像才能和原视频逐帧对上;y控制文字中线位置(默认 0.36,正好在头肩后面;竖屏建议 0.28),字越大越好(横屏取画面高的 0.3–0.45);- 如果模板里主播有推近,把
zoom设成同样倍数,避免文字进出时取景跳一下; - 时间字段支持
"段:词"写法(如"4:体验最好"),写完跑python3 scripts/check_edit.py <工程>/src检查所有时间引用。
五、避坑指南:为什么你的字被挡住了?
这是新手最常踩的坑:自拍特写里人像占了 89% 的画面,字几乎全被挡住;换成中景(人占 57%)字就露出来了。
对照这张实测图记住一条经验:人像占比 < 60%,头顶留白,背景干净——抠像脚本超阈值时也会主动提醒。
其他常见问题的处理参数:
| 现象 | 调整 |
|---|---|
| 人像边缘残留背景灰边 | --shrink 2 |
| 头发丝被吃掉 | --shrink 0 --grow 1 |
| 边缘闪烁 | 调大 --smooth(默认 3) |
| 边缘过硬 | 调大 --feather(默认 1.5) |
| 人物取景和文字对不上 | 检查 cutoutFrom / offset / zoom / crop |
六、放在整个项目里看
景深字是 digital-human-koubo 48 个包装组件之一。这些组件来自对 25 支头部博主视频(MrBeast、影视飓风、Johnny Harris、Vox、半佛、差评等)的逐帧拆解研究,覆盖开场钩子、证据数据、标注人物、节奏互动四大类:
而数字人 + 景深字只是其中一环——项目还支持 5 种剪辑风格(小林式解说、网红花字口播、发布解读、保姆级教程、多主播多语言),覆盖从 30 秒带货广告到 6 分钟教程的完整工作流:
快速上手
git clone https://gitcode.com/gh_mirrors/di/digital-human-koubo
cd digital-human-koubo
把 Skill 装进你的 Agent(Claude Code / Codex / WorkBuddy 等),接上 Renoise MCP,然后直接用大白话说:
做一条 30 秒直播间广告,把「¥99」放在她身后
Agent 会自动跑环境检查、抠像、排包装并渲染成片。环境检查和安装细节见 README.zh-CN.md 与 references/install.md。
总结
- 景深字 = 原视频 + 大字动画 + 透明人像 三层合成,核心在 Depth.tsx;
- 抠像靠 macOS 的 Apple Vision 人像分割(personmask.swift),逐帧对齐、只抠要用的几秒;
- 透明 webm 由 cutout_video.py 一键产出,含平滑、扩边、羽化和占比检查;
- 成败关键在素材:中景、头顶留白、两侧有背景,人像占比别超过 60%。





