免安装、打开即用:Mesh Avatar Studio 浏览器 Player 的秘密
免安装、打开即用:Mesh Avatar Studio 浏览器 Player 的秘密
Mesh Avatar Studio 的浏览器 Player 是一款免安装的 2D 虚拟形象播放器:打开一个网页,就能用摄像头和麦克风驱动一个会眨眼、转头、说话的 mesh 头像,还能直接接入 OBS 直播。头像文件、摄像头画面、麦克风音频全部留在本地,什么都不上传。今天就来揭秘它的实现思路。
浏览器 Player 是什么?
简单说:它是一个纯静态网页,没有 Node 服务、没有后端,也不需要装任何软件。
- 页面打开后自动加载内置的示例头像 Miko(一个旗袍少女),立即动起来
- 你也可以点「Open .mavatar file」,或把一个
.mavatar文件直接拖进页面,打开自己制作/别人分享的头像(上限 128 MiB) - 支持 Chrome 和 Edge,界面提供英文和日文两种语言
入口页面非常轻:site/play/index.html 只有十几个 HTML 标签,真正的工作全在 JavaScript 里完成。
上图是同一套界面框架(Player 复用了 Live 页面的布局 site/src/player/player.css):左侧是头像舞台,右侧依次是头像文件、摄像头、麦克风、背景、显示和表情控制。
三步上手:让头像跟着你动
- 打开页面:Player 打开即显示示例头像,无需任何配置
- 启动摄像头:选择设备后点「Start camera」,正对镜头、放松表情、闭嘴,点「Calibrate」校准中性姿态。可用 Sensitivity(灵敏度)和 Smoothing(平滑度)两个滑杆调节手感,代码见 src/live/tracking.ts
- 打开麦克风:勾选 Microphone lip sync,调节 Gain 增益,头像的嘴型就会跟着你的声音动
不需要摄像头的玩法也支持:不开摄像头时头像保持待机动作,只开麦克风,你的声音依然能驱动嘴部。
揭秘:它是怎么在浏览器里跑起来的?
秘密一:.mavatar——一个文件装下整个头像
Player 不需要一堆素材文件,因为 Mesh Avatar Studio 把头像打包成一个 .mavatar 文件:它本质是一个 ZIP 压缩包,里面装着描述运动的 rig.json(骨架/变形参数)、切好的图层 PNG、绘制好的眼睛和嘴表情,以及 avatar.json 清单。格式细节见 docs/format.md。
加载时,运行时的 loadMeshAvatar 在浏览器里解压这个档案,把图层映射到 Canvas 上,头像就能播放了。想嵌入到自己网站时,同样这一个函数就够。
秘密二:MediaPipe 在 Web Worker 里做人脸识别
面部追踪用的是 Google 的 MediaPipe Face Landmarker 模型,模型文件随页面一起本地部署,推理放在独立的 Web Worker(tracking-worker.js,见 src/live/tracking-worker.js)中执行,不占用主线程,也不把视频画面发到任何服务器。
Worker 每帧输出面部关键点、blendshape 系数和头部姿态矩阵,mapFace 再把这些数据换算成头像参数:左右转头、俯仰、眨眼、视线方向、嘴型开合等,最后经过指数平滑消除抖动。
秘密三:渲染循环跟着 Canvas 走
动画由 runAvatarLoop 驱动:一个基于 requestAnimationFrame 的循环,每帧先采样面部/麦克风状态,再推进头像物理(呼吸、头发摆动),然后绘制。
更巧妙的是——它始终绑定「Canvas 当前所在的窗口」调度帧,这正是下面 OBS 玩法的基础。
秘密四:弹出独立窗口,OBS 直播零配置
这是 Player 最有特色的设计:它没有推流地址,取而代之的是「Open avatar window」按钮(仅 Chrome/Edge)。
原理是浏览器的 Picture-in-Picture 新能力 documentPictureInPicture:把正在渲染的 Canvas 直接搬进一个独立小窗口(实现见 site/src/player/PlayerApp.tsx),渲染循环自动「改道」到新窗口继续跑。然后:
- 在 OBS 里添加窗口捕获,选中这个头像窗口
- 在 Player 里把背景设为绿色
- 给 OBS 源加一个**色度键(Chroma Key)**滤镜
绿幕下的头像就被抠成透明背景,直接出现在直播画面里——不用任何虚拟摄像头。
隐私设计:从源头杜绝上传
Player 页面的 CSP(内容安全策略)把网络权限收紧到只剩本地资源:
connect-src 'self' blob: data:
也就是说,页面在协议层面就没有能力把数据发到外部服务器——头像文件、摄像头视频、麦克风音频都只能待在浏览器里。页面上那句「Everything runs in this browser」不是营销语,是代码层面的事实。
实用小技巧 💡
| 快捷键 | 作用 |
|---|---|
1–8 |
切换表情(中性、微笑、惊讶、眨眼等),1 回到中性 |
Shift+1–8 |
切换 8 个自定义灯光预设(比如恐怖感的红色底光) |
Esc |
从「仅头像全屏」模式退出 |
灯光和表情设置会自动保存在浏览器本地(localStorage),下次打开还在。
想拥有自己的头像?
Player 只是「播放器」,创作头像要用 Studio 编辑器:用 npx create-mesh-avatar-studio 初始化后运行 npm run dev,把一张正面插画交给编码 Agent(流程见 docs/agent-guide.md),再在编辑器里拖拽手柄微调、导出 .mavatar 分享给别人或自己在 Player 里打开。
总结
Mesh Avatar Studio 浏览器 Player 用三个设计把「虚拟形象」做成了开箱即用的网页应用:
.mavatar单文件格式:头像即文件,拖进来就播放- 全本地推理:MediaPipe 在 Web Worker 里跑,CSP 锁死上传通道
- Pip 窗口 + 绿幕:不依赖任何流媒体服务,OBS 窗口捕获直接开播
免安装、打开即用,隐私还拉满——这就是它「轻」的秘密。