如何只用双手移动屏幕上的一切:barehands 8个手势追踪操作完全清单(含Claw强拉神技)

原创2026-10-15 12:31:381,739 阅读

如何只用双手移动屏幕上的一切:barehands 8个手势追踪操作完全清单(含Claw强拉神技)

还在对着鼠标发呆?barehands 是一款基于摄像头的手势追踪界面工具:它把你的普通 webcam 变成手部追踪器,让你用手指直接抓取、投掷、拉伸屏幕上的笔记、图片和 3D 模型——不需要头显、手柄或数据手套。本文带你完整掌握 barehands 的 8 个手势操作,从最基础的 TAP 到最霸气的 Claw 强拉,看完就能上手。

barehands 手势追踪界面:双手操控悬浮玻璃卡片

什么是 barehands:摄像头驱动的手势操作

barehands 的工作原理很直白:摄像头捕捉你的双手 → Google MediaPipe 在浏览器里做手部追踪 → 三个.js 把笔记、图片、3D 模型渲染成悬浮在你面前的玻璃卡片。

它的亮点在于:

  • 🖐️ 纯手势驱动:捏、拖、拍、抓,所有操作都是手的自然动作
  • 🤖 AI 可接入:接入任何 AI 后,屏幕上的光环会成为它的"脸",它能往玻璃板上推送内容
  • 🚫 零外设:不用买任何硬件,一台摄像头 + Chrome 浏览器就够了

快速启动:3 步跑起 barehands

第 1 步:克隆项目

git clone https://gitcode.com/gh_mirrors/ba/barehands

第 2 步:启动本地服务

进入 barehands 目录,执行:

python3 server.py

(Windows 用户用 python server.py,服务器是纯标准库 Python,无需安装任何依赖。)

第 3 步:打开页面

在 Chrome 中访问 **http://127.0.0.1:8794/stage.html**,允许摄像头权限,挥挥手——完成。首次运行会从 CDN 加载 MediaPipe 和 three.js,之后走缓存。

💡 页面里的示例笔记(The Gestures.md)本身就是最好的教材,直接用手点开它就能学手势。

8 个手势追踪操作完全清单

barehands 的每个手势都是"动作"而非"定式",所有阈值都经过真实手部数周调校,且按手的形状比例(而非绝对尺寸)判定,所以无论离摄像头远近都稳定触发。

基础 5 招:日常操作全覆盖

# 手势 动作 效果
1 TAP 轻捏 快速捏合一下,不移动 打开 / 关闭:卡片展开成笔记,笔记点在标题栏上收起
2 PINCH + DRAG 捏拖 捏住目标并拖动 移动任何东西;在打开的笔记上捏住标题栏下方拖动可滚动,捏住停 1 秒转为移动
3 HOLD STILL 悬停 拖拽中静止约 1 秒 锁定 3D 旋转,动手即可在空间中转动物体
4 TWO HANDS 双手 两只手同时操作 缩放:像撕照片一样把物体拉大或捏小
5 FLICK 甩出 快速甩向屏幕边缘 把它甩出画面外,直接消失

barehands 可投掷的特效火球道具

FLICK 的隐藏玩法:把一个透明 PNG(比如仓库自带的 media/fx/ 特效火球)丢进道具区,用手甩向屏幕边缘——火球真的会飞出去。这就是"手势追踪 + 3D 交互"最上头的瞬间。

舞台 3 招:让画面"演戏"

# 手势 动作 效果
6 CLAP 鼓掌 掌心相对、手指朝上,从分开到合拢 整块玻璃板瞬间清空,光环在舞台中央重新显现
7 CLAW 强拉(神技) 手先张开再快速收成爪形,用爪口瞄准远处物体,保持"使劲"姿态 2 秒,然后猛然合爪 物体被隔空"撕"过来,直接飞进你手里
8 EXPLODE SCRUB 爆炸拖拽 空手捏合(不抓任何东西)左右拖动 把 3D 模型拆成爆炸视图 / 拖回来复原

CLAW 强拉的正确姿势:这是最容易"失手"的一个——关键在于"先张后爪 + 瞄准 + 坚持 2 秒",缺一步都会识别失败。它的判定测量的是手的形状比例(拇指食指间距、各指弯曲度),离摄像头多远都能触发。

EXPLODE SCRUB 的前提:板上有可拆的 3D 模型(由命名独立零件组成的 .glb/.gltf)。向右拖拆解,向左复原;你的 AI 也可以用 explode / assemble 命令代你操作。

键盘辅助键

手势之外还有几个快捷键:

  • R:重建板面(重新从磁盘读取文件夹)
  • C:切换摄像头
  • D:调试浮层(实时手势遥测)

手势识别不准怎么办

仓库自带的 TROUBLESHOOTING.md 内置了"调校诊所":

  1. 按 D 打开调试浮层,查看实时 pinch 比值、爪形/掌心标志
  2. 按 P 启动 omni-sampler,在画面中保持一个姿势 4 秒,它会记录所有判定指标并给出 min–median–max 摘要
  3. 让 AI 按实测数据调整 stage.html 里的阈值——先测量,再改数,不要凭感觉调

配置成你的专属看板

编辑根目录的 barehands.json.example(复制为 barehands.json 即可):orbs 里每行指向一个文件夹,"kind": "notes" 的文件夹(比如你的 Obsidian 库)会直接"绽放"成 markdown 树,"kind": "media" 则是道具闸门——只有 media/ 里的文件能上板,这是一个安全特性。改完按 R 即生效,详见 Make It Yours.md。

小结

barehands 用 8 个手势就构成了一套完整的"空中操控"语言:TAP 开关、捏拖移动、悬停旋转、双手缩放、甩出移除、鼓掌清场、Claw 隔空强拉、爆炸拖拽。全程只需摄像头和双手,接入 AI 后还能让屏幕真正"活"起来。现在就去挥一下手试试 CLAW——2 秒坚持,万物入掌。

登录后查看全文
barehands