如何只用双手移动屏幕上的一切:barehands 8个手势追踪操作完全清单(含Claw强拉神技)
如何只用双手移动屏幕上的一切:barehands 8个手势追踪操作完全清单(含Claw强拉神技)
还在对着鼠标发呆?barehands 是一款基于摄像头的手势追踪界面工具:它把你的普通 webcam 变成手部追踪器,让你用手指直接抓取、投掷、拉伸屏幕上的笔记、图片和 3D 模型——不需要头显、手柄或数据手套。本文带你完整掌握 barehands 的 8 个手势操作,从最基础的 TAP 到最霸气的 Claw 强拉,看完就能上手。
什么是 barehands:摄像头驱动的手势操作
barehands 的工作原理很直白:摄像头捕捉你的双手 → Google MediaPipe 在浏览器里做手部追踪 → 三个.js 把笔记、图片、3D 模型渲染成悬浮在你面前的玻璃卡片。
它的亮点在于:
- 🖐️ 纯手势驱动:捏、拖、拍、抓,所有操作都是手的自然动作
- 🤖 AI 可接入:接入任何 AI 后,屏幕上的光环会成为它的"脸",它能往玻璃板上推送内容
- 🚫 零外设:不用买任何硬件,一台摄像头 + Chrome 浏览器就够了
快速启动:3 步跑起 barehands
第 1 步:克隆项目
git clone https://gitcode.com/gh_mirrors/ba/barehands
第 2 步:启动本地服务
进入 barehands 目录,执行:
python3 server.py
(Windows 用户用 python server.py,服务器是纯标准库 Python,无需安装任何依赖。)
第 3 步:打开页面
在 Chrome 中访问 **http://127.0.0.1:8794/stage.html**,允许摄像头权限,挥挥手——完成。首次运行会从 CDN 加载 MediaPipe 和 three.js,之后走缓存。
💡 页面里的示例笔记(The Gestures.md)本身就是最好的教材,直接用手点开它就能学手势。
8 个手势追踪操作完全清单
barehands 的每个手势都是"动作"而非"定式",所有阈值都经过真实手部数周调校,且按手的形状比例(而非绝对尺寸)判定,所以无论离摄像头远近都稳定触发。
基础 5 招:日常操作全覆盖
| # | 手势 | 动作 | 效果 |
|---|---|---|---|
| 1 | TAP 轻捏 | 快速捏合一下,不移动 | 打开 / 关闭:卡片展开成笔记,笔记点在标题栏上收起 |
| 2 | PINCH + DRAG 捏拖 | 捏住目标并拖动 | 移动任何东西;在打开的笔记上捏住标题栏下方拖动可滚动,捏住停 1 秒转为移动 |
| 3 | HOLD STILL 悬停 | 拖拽中静止约 1 秒 | 锁定 3D 旋转,动手即可在空间中转动物体 |
| 4 | TWO HANDS 双手 | 两只手同时操作 | 缩放:像撕照片一样把物体拉大或捏小 |
| 5 | FLICK 甩出 | 快速甩向屏幕边缘 | 把它甩出画面外,直接消失 |
FLICK 的隐藏玩法:把一个透明 PNG(比如仓库自带的 media/fx/ 特效火球)丢进道具区,用手甩向屏幕边缘——火球真的会飞出去。这就是"手势追踪 + 3D 交互"最上头的瞬间。
舞台 3 招:让画面"演戏"
| # | 手势 | 动作 | 效果 |
|---|---|---|---|
| 6 | CLAP 鼓掌 | 掌心相对、手指朝上,从分开到合拢 | 整块玻璃板瞬间清空,光环在舞台中央重新显现 |
| 7 | CLAW 强拉(神技) | 手先张开再快速收成爪形,用爪口瞄准远处物体,保持"使劲"姿态 2 秒,然后猛然合爪 | 物体被隔空"撕"过来,直接飞进你手里 |
| 8 | EXPLODE SCRUB 爆炸拖拽 | 空手捏合(不抓任何东西)左右拖动 | 把 3D 模型拆成爆炸视图 / 拖回来复原 |
CLAW 强拉的正确姿势:这是最容易"失手"的一个——关键在于"先张后爪 + 瞄准 + 坚持 2 秒",缺一步都会识别失败。它的判定测量的是手的形状比例(拇指食指间距、各指弯曲度),离摄像头多远都能触发。
EXPLODE SCRUB 的前提:板上有可拆的 3D 模型(由命名独立零件组成的 .glb/.gltf)。向右拖拆解,向左复原;你的 AI 也可以用 explode / assemble 命令代你操作。
键盘辅助键
手势之外还有几个快捷键:
- R:重建板面(重新从磁盘读取文件夹)
- C:切换摄像头
- D:调试浮层(实时手势遥测)
手势识别不准怎么办
仓库自带的 TROUBLESHOOTING.md 内置了"调校诊所":
- 按 D 打开调试浮层,查看实时 pinch 比值、爪形/掌心标志
- 按 P 启动 omni-sampler,在画面中保持一个姿势 4 秒,它会记录所有判定指标并给出 min–median–max 摘要
- 让 AI 按实测数据调整
stage.html里的阈值——先测量,再改数,不要凭感觉调
配置成你的专属看板
编辑根目录的 barehands.json.example(复制为 barehands.json 即可):orbs 里每行指向一个文件夹,"kind": "notes" 的文件夹(比如你的 Obsidian 库)会直接"绽放"成 markdown 树,"kind": "media" 则是道具闸门——只有 media/ 里的文件能上板,这是一个安全特性。改完按 R 即生效,详见 Make It Yours.md。
小结
barehands 用 8 个手势就构成了一套完整的"空中操控"语言:TAP 开关、捏拖移动、悬停旋转、双手缩放、甩出移除、鼓掌清场、Claw 隔空强拉、爆炸拖拽。全程只需摄像头和双手,接入 AI 后还能让屏幕真正"活"起来。现在就去挥一下手试试 CLAW——2 秒坚持,万物入掌。

