ULTRON Orb UI:用裸手操控钢铁侠风格全息光球,这个开源项目凭什么让人惊艳
ULTRON Orb UI:用裸手操控钢铁侠风格全息光球,这个开源项目凭什么让人惊艳
ULTRON Orb UI 是一个免费开源的全息光球界面(Orb UI):它基于 Next.js、Three.js 与 MediaPipe 手部追踪技术,让你仅凭裸手手势就能通过摄像头操控一颗钢铁侠风格的光球——拖动它旋转、张合双手缩放,全程无需鼠标。整个项目代码量小、结构清晰,是了解 Web 3D + 手势识别的绝佳入门案例。
这个全息光球 UI 能做什么?🔮
打开页面,你会看到一颗琥珀色发光的全息光球:
- 多层线框球壳 + 赤道高亮带,呈现经典"反应堆"观感
- 内核是螺旋线球体,中心有脉动发光的炽热核心
- 球体周围漂浮着 1700+ 个代码文字粒子(
malloc()、AES-256、>>> RDY等)、250 颗轨道碎片与 2000 粒尘埃 - 后期特效叠加了 Bloom 辉光 + 色散(Chromatic Aberration),光球会随"能量脉冲"呼吸般明暗起伏
而真正的惊艳之处在于:你可以像操作钢铁侠的全息投影一样,用裸手在空中"抓"住这颗光球来旋转它。
3 步安装:如何快速在本地运行 Orb UI
依赖只有 Next.js、React、Three.js 和 MediaPipe 四个核心包,安装极其简单:
git clone https://gitcode.com/gh_mirrors/ul/ultron-by-sagar-builds
cd ultron-by-sagar-builds
npm install
npm run dev
然后在浏览器打开 http://localhost:3000 即可。首次开启手势功能时,浏览器会请求摄像头权限,允许后即可开始裸手操控。
手势操控教程:单指捏合旋转、双手捏合缩放
页面右下角点击 GESTURES OFF 按钮(或按 G 键)开启手势追踪,支持三种操控方式:
| 操控方式 | 操作 | 效果 |
|---|---|---|
| 🖐 单手捏合 | 拇指 + 食指捏合后移动 | 旋转光球 |
| 🖐🖐 双手捏合 | 两手掌开 / 合拢 | 放大 / 缩小 |
| 🖱 鼠标/触控 | 拖拽 / 滚轮或双指 | 旋转 / 缩放 |
| ⌨️ 键盘 | G / R / + / - |
切换手势 / 重置视角 / 缩放 |
手势识别有一个很贴心的细节:捏合判定采用了滞回阈值(hysteresis)——捏合距离小于 0.32 触发、大于 0.45 才解除(相对手掌尺寸归一化),避免手指在临界位置抖动导致旋转"闪断"。相关实现见 lib/handTracker.ts。
光球是怎么"画"出来的?Three.js 源码剖析
全部视觉魔法都藏在 lib/orbScene.ts 里,构建流程值得新手一读:
- 分层球体:外球壳用 30+ 条纬线与 24 条经线织成密集网格,4 条加亮的"十字经"和赤道带用 20 条渐变透明度线段叠加出光带效果
- 运动系统:每帧驱动各层以不同速度、不同方向反向旋转,核心按正弦波做"能量涌动"缩放,扫描环沿球面上下扫掠
- 性能优化:250 颗轨道碎片复用 6 种共享几何体,粒子用
Points一次性渲染,离页时完整dispose()释放显存
手势追踪侧则由 lib/handTracker.ts 基于 MediaPipe 的 HandLandmarker 完成:每帧检测 21 个手部关键点,先判断捏合状态,再按"单捏合 = spin 模式 / 双捏合 = zoom 模式"分发相机指令;GPU 委托失败时还会自动降级到 CPU 运行。
三者由 components/JarvisOrb.tsx 胶水层串联:摄像头状态机(off / starting / on / error)、HUD 状态标签(STANDBY / SPIN / ZOOM)和键盘事件都在这里接线,逻辑一目了然。
新手能从这个项目学到什么?✨
| 学习点 | 对应文件 |
|---|---|
| Three.js 场景搭建、后处理管线(Bloom + 自定义 Shader) | lib/orbScene.ts |
| MediaPipe 手部关键点追踪与手势状态机设计 | lib/handTracker.ts |
| React 中管理 WebGL 资源生命周期与摄像头权限 | components/JarvisOrb.tsx |
项目采用 MIT 协议(见 LICENSE),可自由学习与商用。总代码量不过千行,却把"3D 场景 → 视觉特效 → 手势输入 → 界面交互"这条完整链路走通了一遍,作为 Three.js 或手势识别的练手项目,性价比相当高。
