GameSentenceMiner 手柄支持指南:如何用游戏手柄操控 Overlay 完成全部操作
GameSentenceMiner 手柄支持指南:如何用游戏手柄操控 Overlay 完成全部操作
GameSentenceMiner(简称 GSM)是一款通过游戏和视觉媒体进行语言学习的沉浸式工具,它能在游戏画面下方自动识别台词并配上 Furigana 注音。而它的 Gamepad(手柄)支持让整个过程完全脱离键盘鼠标——按住 LB 就能在 Overlay 里逐词移动光标、查词典、挖词入 Anki,实现真正的"无手操作"(Hands-Free)学习。本文完整介绍 GSM 手柄支持的工作原理、默认按键布局、自定义绑定方法,以及进阶导航技巧,帮你快速上手。
一、GSM 手柄支持是如何工作的
GSM 的手柄输入并不依赖浏览器或窗口焦点,而是由一个内置的 Rust 输入服务器在操作系统层面直接监听手柄(GSM_Overlay/input_server/)。这带来一个关键优势:
无论当前焦点在游戏窗口还是 GSM 窗口,手柄按键都能被 Overlay 正确接收。
在 Windows 上,输入服务器默认使用 XInput 后端(原生支持 Xbox 手柄和 XInput 模拟器);如需 Switch Pro、PlayStation 手柄或通用 DirectInput 设备,可开启内置的 SDL 扩展支持(静态打包,无需额外安装 DLL)。详细说明见官方文档:docs/GAMEPAD_INPUT.md。
手柄设置入口位于 Overlay Settings → GAMEPAD 标签页,Overlay 设置主界面如下(顶部还有官方 Gamepad Guide 快捷入口):
⚠️ 注意:Input Server Settings 中的监听开关(Listen for XInput Controllers / Enable Extended Controller Support)是全局设置,修改后必须重启 GSM 才能生效;且如果你在使用 XInput 模拟器,请保持扩展支持关闭,避免同时读到物理手柄和虚拟手柄两套输入。
二、默认手柄按键布局一览表
GSM 默认采用 Xbox 标准布局(PlayStation 手柄会自动映射为十字/圆圈/方块/三角),以下是无需任何配置即可直接使用的默认绑定(定义于 GSM_Overlay/gamepad.js):
| 手柄按键 | 默认功能 | 说明 |
|---|---|---|
| LB(左肩键) | 导航修饰键 | 按住 + 十字键进入导航模式 |
| Start / Select | 导航切换键 | 按一下进入、再按退出导航(Toggle 模式) |
| 十字键 上下左右 | 移动光标 | 切换文本块或在块内逐字/逐词移动 |
| A 键 | 确认 / 挖词(Mine) | 对当前选中的词执行词典查询并挖词 |
| B 键 | 取消 | 取消当前选中状态 |
| Y 键 | 切换分词模式 | 在「词模式」与「字模式」之间切换 |
| LT / RT(扳机键) | 上/下一个词典释义 | 在词典弹窗中切换词条 |
| 左摇杆 | 自由移动光标 | 模拟摇杆式光标,支持速度曲线 |
此外还可以为 转发 Enter / Space / Escape / 点击、手动扫描(Manual Scan)、翻译(Translate)、暂停 等动作绑定按键,把游戏常用键也接入手柄工作流。
三、两种导航激活模式
GSM 提供两种激活 Overlay 导航的方式,可按手感任选(GSM_Overlay/gamepad.js):
1. Modifier 模式(默认)
按住 LB 不放时,十字键和摇杆接管导航;松开 LB 即退出。这是最安全的方式,绝不会意外"锁住"手柄。
2. Toggle 模式
按一次 Start/Select 进入导航,再按一次退出,适合长时间连续挖词。
配合 Push to Show → Manual Mode 设置,手柄导航可以和 Overlay 显隐联动:开启 "Hide overlay until activation" 后,文字与导航高亮会在你激活手柄导航时自动显示,退出后自动隐藏——玩隐藏鼠标的视觉小说时体验极佳。
四、自定义手柄按键绑定步骤
如果你习惯 PlayStation 布局之外的自定义键位,或手柄是非标设备,可以按以下步骤重映射:
- 打开 Overlay Settings → Gamepad,确认设备列表中出现你的手柄;
- 点击 Start Test,逐个按键检查按钮与摇杆状态;
- 点击任意绑定项进入捕获状态,按下目标按键或组合键后松开即保存;
- 对于方向键布局特殊的手柄,可单独配置 Navigate Up/Down/Left/Right;
- 按 Backspace / Delete 清除绑定,Escape 取消捕获。
💡 未映射的按键会显示为 Button N,摇杆和方向拨杆(Hat)也会被拆成两个带编号的"虚拟按钮",同样可以绑定任意功能。绑定在所有设备间共享;不想让某个手柄干扰操作时,可将其加入 ignored-device(忽略设备)列表。
五、手柄查询工作流:从移动到挖词
进入导航后的典型工作流如下:
- 移动光标:十字键或左摇杆在文字块间跳转、块内移动,光标移动时自动确认(Auto-Confirm)并即时打开词典查询;
- 切换释义:在词典弹窗内按 LT / RT 翻页浏览词条;
- 挖词(Mine):对选中的词按 A 键,将其作为句子卡挖入 Anki;
- 切换粒度:按 Y 键在整词与单字(Token 模式)之间切换;
- 重新打开未变化的文本会恢复你上次的光标位置,无需重新移动。
Jiten 评分:完全用手柄完成分级
配合 Jiten Reader 高亮时,词典弹窗中还内置了评分条(SRS 分级):
- 在第一个释义上方按 LT(或用右摇杆上滚)选中 Jiten 评分条;
- 再按 LT 可快速选中 Never Forget;
- 右摇杆左右移动选择评级(Good / Blacklist / Never Forget 等);
- 按 确认键保存评级,完成后按 RT 返回释义操作区。
整套"看台词 → 移动 → 查询 → 分级 → 挖词"流程无需触碰键盘鼠标。
六、进阶:Navigation Experiments 导航实验
Gamepad 设置页下方的 Navigation Experiments 区域提供了一系列可混搭的导航增强选项,全部复用现有按键、默认保持原始手感(docs/OVERLAY_GAMEPAD_NAVIGATION.md):
| 使用场景 | 推荐选项 |
|---|---|
| 长对白快速浏览 | Hold Direction:Jump to sentence starts(按住方向键跳到句首) |
| 菜单类散落文本 | Up/Down:Nearest block above/below(按屏幕位置就近跳转块) |
| 多个大文本面板 | Up/Down:Whole blocks in reading order(按阅读顺序整块跳转) |
| 专注背生词 | Hold Direction:Jump to new Jiten words + 起始位置 First new Jiten word |
| 现有手感更快 | Hold Direction:Accelerating repeat + 开启 Left-Stick Speed Curve |
建议一次只改一项选项来感受差异;将标有 (default) 的条目恢复默认即可回到原始导航方案。
七、常见问题排查
| 现象 | 排查建议 |
|---|---|
| 手柄按键完全无反应 | 确认 Input Server Settings 中对应监听开关已打开,并重启 GSM;开启扩展支持后修改的绑定可能需要重新捕获 |
| 按键"双重触发" | 正在使用 XInput 模拟器的用户,请关闭 Enable Extended Controller Support,或将虚拟设备加入忽略列表 |
| Switch / PS 手柄有幽灵按键 | 开启 Enable Extended Controller Support (DirectInput / SDL),由 SDL 原生解码 HID,Windows 自带解析器不再介入 |
| 某些手柄按键识别为 Button N | 属正常回退行为,按上文"自定义绑定"一节重新映射即可 |
总结
GSM 的手柄支持把"学语言"这件事彻底解放双手:系统级输入监听保证焦点无关,Xbox 风格默认布局开箱即用,自定义捕获与导航实验则覆盖了从标准手柄到掌机手柄的全部场景。只需打开 Overlay Settings → GAMEPAD 检查一次设备列表,你就可以一边推剧情、一边用 A 键把每句台词挖进 Anki 了。
📚 延伸阅读:docs/GAMEPAD_INPUT.md · docs/OVERLAY_GAMEPAD_NAVIGATION.md · 手柄逻辑源码 GSM_Overlay/gamepad.js · 输入服务器 GSM_Overlay/input_server/



