ULTRON Orb UI:用裸手操控钢铁侠风格全息光球,这个开源项目凭什么让人惊艳

原创2026-10-20 14:30:512,244 阅读

ULTRON Orb UI:用裸手操控钢铁侠风格全息光球,这个开源项目凭什么让人惊艳

ULTRON Orb UI 是一个免费开源的全息光球界面(Orb UI):它基于 Next.js、Three.js 与 MediaPipe 手部追踪技术,让你仅凭裸手手势就能通过摄像头操控一颗钢铁侠风格的光球——拖动它旋转、张合双手缩放,全程无需鼠标。整个项目代码量小、结构清晰,是了解 Web 3D + 手势识别的绝佳入门案例。

ULTRON Orb UI 全息光球手势识别界面效果,橙色发光线框球体悬浮在黑色背景中

这个全息光球 UI 能做什么?🔮

打开页面,你会看到一颗琥珀色发光的全息光球:

  • 多层线框球壳 + 赤道高亮带,呈现经典"反应堆"观感
  • 内核是螺旋线球体,中心有脉动发光的炽热核心
  • 球体周围漂浮着 1700+ 个代码文字粒子(malloc()、AES-256、>>> RDY 等)、250 颗轨道碎片与 2000 粒尘埃
  • 后期特效叠加了 Bloom 辉光 + 色散(Chromatic Aberration),光球会随"能量脉冲"呼吸般明暗起伏

而真正的惊艳之处在于:你可以像操作钢铁侠的全息投影一样,用裸手在空中"抓"住这颗光球来旋转它。

3 步安装:如何快速在本地运行 Orb UI

依赖只有 Next.js、React、Three.js 和 MediaPipe 四个核心包,安装极其简单:

git clone https://gitcode.com/gh_mirrors/ul/ultron-by-sagar-builds
cd ultron-by-sagar-builds
npm install
npm run dev

然后在浏览器打开 http://localhost:3000 即可。首次开启手势功能时,浏览器会请求摄像头权限,允许后即可开始裸手操控。

手势操控教程:单指捏合旋转、双手捏合缩放

页面右下角点击 GESTURES OFF 按钮(或按 G 键)开启手势追踪,支持三种操控方式:

操控方式 操作 效果
🖐 单手捏合 拇指 + 食指捏合后移动 旋转光球
🖐🖐 双手捏合 两手掌开 / 合拢 放大 / 缩小
🖱 鼠标/触控 拖拽 / 滚轮或双指 旋转 / 缩放
⌨️ 键盘 G / R / + / - 切换手势 / 重置视角 / 缩放

手势识别有一个很贴心的细节:捏合判定采用了滞回阈值(hysteresis)——捏合距离小于 0.32 触发、大于 0.45 才解除(相对手掌尺寸归一化),避免手指在临界位置抖动导致旋转"闪断"。相关实现见 lib/handTracker.ts。

光球是怎么"画"出来的?Three.js 源码剖析

全部视觉魔法都藏在 lib/orbScene.ts 里,构建流程值得新手一读:

  1. 分层球体:外球壳用 30+ 条纬线与 24 条经线织成密集网格,4 条加亮的"十字经"和赤道带用 20 条渐变透明度线段叠加出光带效果
  2. 运动系统:每帧驱动各层以不同速度、不同方向反向旋转,核心按正弦波做"能量涌动"缩放,扫描环沿球面上下扫掠
  3. 性能优化:250 颗轨道碎片复用 6 种共享几何体,粒子用 Points 一次性渲染,离页时完整 dispose() 释放显存

手势追踪侧则由 lib/handTracker.ts 基于 MediaPipe 的 HandLandmarker 完成:每帧检测 21 个手部关键点,先判断捏合状态,再按"单捏合 = spin 模式 / 双捏合 = zoom 模式"分发相机指令;GPU 委托失败时还会自动降级到 CPU 运行。

三者由 components/JarvisOrb.tsx 胶水层串联:摄像头状态机(off / starting / on / error)、HUD 状态标签(STANDBY / SPIN / ZOOM)和键盘事件都在这里接线,逻辑一目了然。

新手能从这个项目学到什么?✨

学习点 对应文件
Three.js 场景搭建、后处理管线(Bloom + 自定义 Shader) lib/orbScene.ts
MediaPipe 手部关键点追踪与手势状态机设计 lib/handTracker.ts
React 中管理 WebGL 资源生命周期与摄像头权限 components/JarvisOrb.tsx

项目采用 MIT 协议(见 LICENSE),可自由学习与商用。总代码量不过千行,却把"3D 场景 → 视觉特效 → 手势输入 → 界面交互"这条完整链路走通了一遍,作为 Three.js 或手势识别的练手项目,性价比相当高。

登录后查看全文
ultron-by-sagar-builds