如何把大字放在数字人身后:digital-human-koubo 景深字效果深度解析(Vision抠像+三层合成)

原创2026-11-01 21:15:451,723 阅读
文章标签:AI 技能媒体生成数字人视频人工智能视频处理MCP Clients

如何把大字放在数字人身后:digital-human-koubo 景深字效果深度解析(Vision抠像+三层合成)

digital-human-koubo 是一个开源的 AI 数字人口播项目:只需一张照片和一句话,就能由 AI Agent 自动完成写稿、生成对口型数字人、声音统一和剪辑包装,产出带货广告、教程、解说等成片。其中最吸睛的效果之一就是「景深字」(TextBehind)——把大字或数字放在数字人背后、背景之前,营造出类似影视飓风和 MrBeast 视频里的立体空间感。本文带你拆解这个效果的完整实现:Apple Vision 人像抠像 → 透明视频 → 三层合成,并给出一套可直接上手的操作步骤。

数字人景深字效果:大数字“22”放在数字人主播身后,形成纵深空间感

一、景深字到底长什么样?

普通字幕是“贴在画面上”的,而景深字的关键在于层次:人物在前景,文字在中景,背景在最后面。当文字从人物身后升起或砸入时,会有一种“大字真实地存在于主播背后世界”的错觉,非常抓眼球。

它的典型用途:

  • 🎬 开场命题:0–3 秒把主题词放在主播身后,直接给钩子;
  • 🔢 关键数字:价格 ¥999→¥99、销量、积分从 0 滚动;
  • 📑 章节名 / 金句:在转场处强化记忆点。

官方建议一支片子用 2–4 次,别每句都用,否则效果就没了。

二、核心原理:三层合成

景深字的实现本质上就是把画面拆成三层再叠回去,references/packaging.md 里有专门的《景深字 TextBehind 怎么做》章节:

景深字三层合成流程:原视频 → Vision 抠出人像遮罩 → 原视频 + 大字 + 抠出的人像

层 内容 来源
第 1 层(最底) 原始口播视频(背景完整保留) 生成好的 main.mp4
第 2 层(中间) 大字 / 数字动画(升起、砸入、滚动、滑入四种模式) Remotion 组件实时绘制
第 3 层(最上) 抠出来的透明人像(webm,带 alpha 通道) cutout_video.py 生成

对应源码在 Depth.tsx:最底层是原视频 <OffthreadVideo src={src} />,中间是文字动画层,最上层是 transparent 的抠像视频。两层视频逐帧对齐播放,人就会“盖”在文字前面。

文字层支持 4 种入场模式(mode 参数):

  • rise:从人身后升起(默认);
  • slam:放大后砸入(1.7× → 0.96× → 1× 的过冲回弹);
  • count:数字从 0 滚动到目标值,带千分位格式;
  • slide:左右滑入,多行交替方向。

还支持 gradient 渐变字、outline 描边字、bgDim 背景压暗等参数,组件在 registry.tsx 中注册,9:16 竖屏有专属默认位置。

三、Vision 抠像:把人从视频里“挖”出来

景深字最大的技术难点是把人从每一帧里干净地抠出来。digital-human-koubo 用的是 macOS 系统自带的 Apple Vision 框架,不依赖第三方模型,也不上传任何视频。

3.1 逐帧分割:personmask.swift

personmask.swift 是一个命令行小程序,从标准输入读原始帧流(BGRA),逐帧调用 Vision 的 VNGeneratePersonSegmentationRequest(人像分割,精细档 qualityLevel = .accurate),再从标准输出吐出等尺寸的灰度遮罩。它默认取「人像分割」和「前景主体分割」两个结果的并集,人像边缘精细、偶尔出现的动物或物体也不会丢。

一个巧妙的设计:解码交给 ffmpeg。注释里写得很直白——AVAssetReader 遇到 AV1(M1/M2 无硬解)会静默出 0 帧,遇到 VFR 又会和 ffmpeg 的帧序列错位,两条流用同一个解码器就天然对齐。

3.2 遮罩加工:cutout_video.py

cutout_video.py 串起整个流水线:

python3 scripts/cutout_video.py public/main.mp4 public/main_cut_s4.webm --from 17.2 --to 22.4
  1. ffmpeg 把原视频解成 BGRA 帧流,喂给 personmask 得到逐帧遮罩;
  2. 对遮罩做 tmix 平滑(相邻 N 帧取平均,压住边缘闪烁)→ shrink/grow 收缩或扩张边缘 → feather 羽化;
  3. 用 ffmpeg alphamerge 把遮罩合成回原视频,输出 VP9 + alpha 的透明 webm(体积小,Remotion 的 OffthreadVideo transparent 可直接用);
  4. 顺手存一份灰度遮罩 _mask.mp4 方便肉眼检查。

两个实用细节:

  • 用 --from / --to 只抠要用的那几秒——整条 1 分半的口播抠完要几分钟,只用 2–3 处的话按段抠快得多;
  • 脚本会统计人像占画面比例,超过 60% 会警告「几乎没有背景,景深字会被人挡住」(见 cutout_video.py),这时建议换中景素材或改用 NumberSpike / TiltLine。

⚠️ Vision 是 macOS 系统框架,所以抠像这一步需要 macOS;项目其余功能(生成、下载、质检、剪辑渲染)跨平台。

四、手把手实操:三步做出景深字

第 1 步:生成“留白”的口播素材

景深字对素材有硬性要求:中景、头顶和两侧有背景。生成口播时给提示词加上:

medium shot, leave headroom and background on both sides

数字人素材要求:参考照合成直播间场景,中景、头顶留白、两侧有背景,专为景深字留位置

在 SKILL.md 的流程里,这类段落会在 script.json 里标成 "shot": "depth",生成时就出中景。

第 2 步:按段抠像

只抠要放字的片段,输出透明 webm:

python3 scripts/cutout_video.py public/main.mp4 public/main_cut_s4.webm --from 17.2 --to 22.4

如果边缘有背景灰边就加 --shrink 2;头发丝被吃掉就 --shrink 0 --grow 1(会带一点背景色)。

第 3 步:在 pack 里声明 TextBehind

在工程的 edit.json 的 pack 数组里加一条(完整字段见 packaging.md):

{ "use": "TextBehind", "src": "main.mp4", "cutout": "main_cut_s4.webm",
  "cutoutFrom": 17.2, "at": "4:", "until": "4:end",
  "lines": [{ "t": "体验最好" }], "gradient": ["#FFFFFF", "#C9D2E0"] }

几个对齐要点:

  • cutoutFrom 必须和抠像时的 --from 完全一致,这样透明人像才能和原视频逐帧对上;
  • y 控制文字中线位置(默认 0.36,正好在头肩后面;竖屏建议 0.28),字越大越好(横屏取画面高的 0.3–0.45);
  • 如果模板里主播有推近,把 zoom 设成同样倍数,避免文字进出时取景跳一下;
  • 时间字段支持 "段:词" 写法(如 "4:体验最好"),写完跑 python3 scripts/check_edit.py <工程>/src 检查所有时间引用。

五、避坑指南:为什么你的字被挡住了?

这是新手最常踩的坑:自拍特写里人像占了 89% 的画面,字几乎全被挡住;换成中景(人占 57%)字就露出来了。

特写(人占89%)字全被挡 vs 中景(人占57%)字露出来:数字人景深字对镜头景别的实测对比

对照这张实测图记住一条经验:人像占比 < 60%,头顶留白,背景干净——抠像脚本超阈值时也会主动提醒。

其他常见问题的处理参数:

现象 调整
人像边缘残留背景灰边 --shrink 2
头发丝被吃掉 --shrink 0 --grow 1
边缘闪烁 调大 --smooth(默认 3)
边缘过硬 调大 --feather(默认 1.5)
人物取景和文字对不上 检查 cutoutFrom / offset / zoom / crop

六、放在整个项目里看

景深字是 digital-human-koubo 48 个包装组件之一。这些组件来自对 25 支头部博主视频(MrBeast、影视飓风、Johnny Harris、Vox、半佛、差评等)的逐帧拆解研究,覆盖开场钩子、证据数据、标注人物、节奏互动四大类:

48 个包装组件图鉴:TextBehind 景深字与 SlamText、SearchTyping 等开场钩子组件同属开场组

而数字人 + 景深字只是其中一环——项目还支持 5 种剪辑风格(小林式解说、网红花字口播、发布解读、保姆级教程、多主播多语言),覆盖从 30 秒带货广告到 6 分钟教程的完整工作流:

digital-human-koubo 五种剪辑风格:小林式解说、网红花字口播、发布解读、保姆级教程、多主播多语言

快速上手

git clone https://gitcode.com/gh_mirrors/di/digital-human-koubo
cd digital-human-koubo

把 Skill 装进你的 Agent(Claude Code / Codex / WorkBuddy 等),接上 Renoise MCP,然后直接用大白话说:

做一条 30 秒直播间广告,把「¥99」放在她身后

Agent 会自动跑环境检查、抠像、排包装并渲染成片。环境检查和安装细节见 README.zh-CN.md 与 references/install.md。

总结

  • 景深字 = 原视频 + 大字动画 + 透明人像 三层合成,核心在 Depth.tsx;
  • 抠像靠 macOS 的 Apple Vision 人像分割(personmask.swift),逐帧对齐、只抠要用的几秒;
  • 透明 webm 由 cutout_video.py 一键产出,含平滑、扩边、羽化和占比检查;
  • 成败关键在素材:中景、头顶留白、两侧有背景,人像占比别超过 60%。
登录后查看全文
digital-human-koubo