glm-coding-helper如何自动识别中文点选验证码:油猴脚本+本地OCR后端架构全解析
glm-coding-helper如何自动识别中文点选验证码:油猴脚本+本地OCR后端架构全解析
glm-coding-helper 是智谱 GLM Coding Plan 抢购助手,由 Tampermonkey 油猴脚本和本地 CPU/GPU OCR 后端组成,核心能力之一就是自动识别中文点选验证码并按提示顺序自动点击。验证码图片全程只在本地流转,不上传任何第三方识别服务。
整体架构:四步完成验证码自动识别 🎯
整个识别链路可以概括为一句话:
油猴脚本截图 → 本地后端检测识别 → 返回坐标 → 浏览器自动点击
拆开来看是四步:
| 步骤 | 执行方 | 做什么 |
|---|---|---|
| ① 抓取原图 | 油猴脚本 | 从腾讯验证码组件中直接抓取验证码原图和 3 个提示汉字 |
| ② 传输请求 | 油猴脚本 → 本地后端 | 原图以 base64 发送到本地 http://127.0.0.1:8888/captcha_direct |
| ③ 检测 + 识别 | 本地后端 | YOLO 定位 3 个候选字框,PP-OCRv6 识别每个字,提示字约束纠偏 |
| ④ 自动点击 | 油猴脚本 | 按提示顺序依次点击识别出的坐标 |
后端核心服务代码在 backend/server.py,请求入口 handle_direct 接收 {image, text} 请求(源码中只提取最后 3 个汉字作为提示字约束),再轮询分发给 YOLO worker 队列。
第一步:油猴脚本如何抓到验证码原图
普通截图方案容易受缩放、DPI 影响导致点击坐标偏移。glm-coding-helper 的做法更直接:油猴脚本直接读取腾讯验证码组件内部的原图数据,绕开屏幕截图环节,保证"识别坐标 = 点击坐标"。
主脚本为 glm-coding-helper.user.js,安装后它会:
- 持续扫描页面,发现验证码弹窗时自动接管
- 抓取原图 + 提示文字,POST 到本地后端
- 后端返回 3 个坐标后,按提示顺序带随机延时(默认 250-400ms)依次点击,模拟人工节奏降低风控风险
第二步:本地 OCR 后端接收请求
后端默认监听 http://127.0.0.1:8888,关键接口:
POST /captcha_direct:接收 base64 原图 + 提示文字,返回识别坐标(主路径)GET /health:健康检查,用于确认后端是否存活
backend/server.py 的注释写得很清楚——这是一个"验证码极速网关 - 双端流水线架构":YOLO 与 OCR 两段流水线并行,通过多进程队列 + 共享内存零拷贝传递切片,消灭序列化开销。
请求处理流程:
- 网关收到请求,分配
req_id,挂一个 future - 原图轮询(round-robin)丢进 YOLO 队列
- YOLO worker 检测出 3 个候选字框,切图送入 OCR 队列
- OCR worker 并行识别每个字 crop
- 结果汇总、按提示字约束排序后返回
第三步:YOLO + PP-OCRv6 双模型流水线
这是识别准确率的来源,也是项目技术含金量最高的部分:
1️⃣ YOLO 负责"找框"
自训的 YOLO 检测器(权重文件 models/weights/yolo-captcha-detector.pt)解决"图里 3 个字在哪里"的问题。验证码里的汉字带透明度、背景粘连、缩放变形,传统 CV 抠字方案准确率只有 12.5% 左右,YOLO 训练后能稳定输出 3 个候选框。
2️⃣ PP-OCRv6 负责"识字"
识别走 PP-OCRv6_tiny_rec 主路径 + medium 兜底,实测 CPU 上约 110ms/张,379 张真实验证码准确率 100%。识别结果不一致时自动 fallback 到 medium 模型。
3️⃣ 提示字约束解码是"外挂"
这个场景有个天然优势:提示已经告诉我们目标是哪 3 个字。因此 OCR 不需要在全字库自由输出,而是对 softmax logits 做提示约束解码(constrained decode)——把输出拉回这 3 个候选字里选择。这一招让 PP-OCRv5 时代 hidden 集从 84.8% 直接拉满到 33/33 = 100%。
这套方案从传统 CV、手搓排序模型一路演进到当前形态的完整复盘,可以读 docs/captcha_model_journey.md,非常推荐想了解验证码识别原理的同学看。
第四步:坐标回传与自动点击
后端把 3 组坐标(按提示顺序排好)返回油猴脚本,脚本按"首击前延时 + 点字间随机延时"的节奏依次点击。两个节奏参数都可在页面配置面板调节:
- 首击前延时:默认 150-300ms,等验证码 DOM 渲染完成,防止第一击落空
- 点字延时:默认 250-400ms,风控严格时可调大到 300-450ms
注意默认配置是保守的:自动点字默认开启,但"确定"按钮默认不自动点击,需要在配置面板手动开启。
CPU / GPU 自动选择与多进程并行 🚀
后端启动时自动探测硬件,无需手动配置:
- 有 NVIDIA GPU 且环境正常 → 走 GPU 推理
- 否则 → CPU 模式 + 多 worker 并行(按核心数自动分配,默认 YOLO 与 OCR worker 数量智能计算)
auto / cpu / gpu 三种模式可通过启动参数覆盖,worker 数、端口、OCR 模型都可用 config.json 或环境变量调整,详细说明见 docs/backend_config.md。
| 配置项 | 默认值 | 说明 |
|---|---|---|
| 端口 | 8888 |
本地监听地址 |
| OCR 模型 | PP-OCRv6_tiny_rec |
可经 ocr_model 或环境变量 GLM_OCR_MODEL 覆盖 |
| YOLO 权重 | models/weights/yolo-captcha-detector.pt |
可用环境变量 CNCAPTCHA_DETECTOR_PATH 覆盖 |
快速开始:三步跑起来 ⚡
- 装油猴脚本:Chrome / Edge 安装 Tampermonkey 后,导入 glm-coding-helper.user.js
- 启动后端(首次会自动安装 CPU/GPU 环境):
- Windows:双击 one-click-start.cmd
- macOS:运行 one-click-start.command
- Linux:执行 one-click-start.sh
- 打开 GLM Coding Plan 页面,验证码出现时脚本自动接管
启动后可在终端执行 curl http://localhost:8888/health 确认后端正常。Windows 下还会弹出 Tk 窗口,实时显示当前提示字、识别结果、置信度和端到端耗时(如 yolo=120ms ocr=165ms),对应代码在 scripts/tools/captcha_server.py。
关键文件速查 📁
| 文件 | 作用 |
|---|---|
| glm-coding-helper.user.js | 给 Tampermonkey 安装的主油猴脚本 |
| backend/server.py | FastAPI 网关 + YOLO/OCR 多进程流水线 |
| scripts/tools/captcha_server.py | Windows 主启动入口(HTTP + Tk 实时 GUI) |
| models/weights/yolo-captcha-detector.pt | 自训 YOLO 验证码字框检测权重 |
| docs/captcha_model_journey.md | 验证码识别模型演进全记录 |
| docs/backend_config.md | 后端配置、CPU/GPU 模式说明 |
| scripts/userscripts/README.md | 油猴脚本安装与快捷键说明 |
小结
glm-coding-helper 的验证码自动识别本质是一个"浏览器脚本 + 本地 AI 服务"的组合拳:油猴脚本负责抓图与点击,本地后端用 YOLO 找框、PP-OCRv6 识字、提示字约束纠偏,CPU 模式下单张 110ms 左右即可完成。整条链路数据不出本机,既快又安全。对于想学习"油猴脚本 + 本地 OCR 后端"这类架构的开发者,这个项目从 docs/captcha_model_journey.md 到 backend/server.py 都是很好的参考素材。