vision-demos 步频测量算法揭秘:踝关节高度信号如何换算成跑步 cadence 与触地时刻

原创2026-10-24 22:52:19854 阅读

vision-demos 步频测量算法揭秘:踝关节高度信号如何换算成跑步 cadence 与触地时刻

vision-demos 的 running 演示只用一段侧面视频就能测出跑步步频(cadence):它把每只脚踝相对"站立线"的高度变成一条周期性信号,检测每一次触地时刻(foot strike),再换算成每分钟步数(spm)。本文拆解这套步频测量算法的 4 个步骤,以及几个决定数字准不准的"细节设计"。

跑步 cadence 测量演示:左侧跑步者骨骼点叠加,右侧实时步频面板

上图左侧是跑步机上的跑者,右侧面板实时显示 cadence(181 spm)、步频走势、触地瞬间的平均膝关节角度和两只脚踝的路径轨迹——这些数字全部来自同一条踝关节高度信号。

从视频到步频:算法四步走

1️⃣ 姿态估计:每帧 17 个关键点

姿态识别由 ViTPose-plus-large 模型完成,通过云端 API 调用,本地无需下载模型权重。每一帧返回 17 个 COCO 关键点,相关代码在 running/src/pose.py。

一个关键限制:COCO-17 没有脚跟、脚趾关键点,脚踝是最低的点。因此"脚落地"只能通过脚踝位置推断,而脚放平时脚踝仍高出地面几厘米。这直接决定了后文两个设计:高度零点必须逐脚"标定",时序参考点必须对固定偏移不敏感。

2️⃣ 构造"踝关节高度信号"

核心公式只有一行:

height =(该脚的站立线 − 脚踝 y 坐标)÷ 腿长

  • 站立线(ground):取该脚踝 y 坐标的 90 分位数,而不是最低点——单帧最低值经常是坏姿态,而不是地面。并且逐脚各标定一条:侧面镜头下近侧腿和远侧腿投影高度不同(演示中约差 1% 腿长),共用一条线会污染触地时刻;
  • 腿长:取"大腿中位长度 + 小腿中位长度",而不是直接平均髋-踝距离。跑步时膝盖大部分时间是弯的,直接平均测到的是"膝盖恰好弯了多少",实测会偏小 8–11%;
  • 归一化后每只脚得到一条波:支撑期接近 0,摆动中期到峰值。两只脚交错,就得到经典跑步波形。

信号只做轻平滑:3 帧中值滤波去孤立尖峰,再加 3 帧滑动平均压抖动。窗口必须小,因为摆动峰只有约 10 帧宽,大窗口会把要用来定时的峰本身抹平。参数见 running/config.py 中的 GROUND_PERCENTILE、SMOOTH_MEDIAN_FRAMES、SMOOTH_MEAN_FRAMES。

3️⃣ 触地时刻检测:阈值穿越 + 两道保险

先从信号中估计"典型摆动高度"(所有峰的中位数,而非最大值——一帧坏数据不能移动全部阈值),再设置三道关卡:

参数 默认值 作用
SWING_PEAK_FRACTION 0.55 摆动峰值必须超过典型高度的 55%,否则视为支撑期抖动,防止一个支撑误报两三次触地
CONTACT_FRACTION 0.18 信号向下穿越典型高度 18% 处,记为一次触地
MIN_CONTACT_SECONDS 0.10 支撑短于 0.1 秒是信号在摆动中途误切阈值,并入摆动期

为什么是 18%?这个阈值下测出的腾空占比约 30%(生理合理值);阈值再高,腾空占比会崩到 8%,没有跑者是这样跑的。

穿越瞬间还会做亚帧线性插值定时刻:30 fps 下一帧就是 33 ms,而一步约 350 ms,只看帧号会让步频带上一整条"台阶"误差。

4️⃣ 从触地到 cadence

每次触地给出两个时刻:

  • 触地时刻(strike):阈值穿越的亚帧时间,用于视频里的闪光提示;
  • 支撑中点(mid-stance):触地与离地两个插值时刻的中点,所有间隔都在支撑中点之间计时。

为什么不用触地时刻计时?阈值穿越发生在信号最陡处,阈值稍偏参考点就会滑动,而且两腿下滑速度不同,滑动量各不相同;支撑中点则两端对称地动,误差大幅抵消。

最终:

cadence = 120 ÷ 平均同脚 stride 时间

  • 一个 stride 是"这只脚到下次同这只脚",含 2 步,所以是 60×2=120;
  • 同脚对比意味着该脚参考点的任何固定偏移,在相减时首尾精确抵消——这就是 cadence 不受单相机近远腿几何污染的核心理由;
  • 不用"步数 ÷ 总时长":视频从半程开始、在半程结束,除以总时长会偏低百分之几。

面板上的实时数值取指数滑动平均(最新 stride 权重 0.20,约等效 9 步窗口,即 CADENCE_SMOOTHING),比固定窗口更平稳,且只在重叠 stride 上更新,左右交替在每个样本里自动抵消。实现位于 running/src/gait.py:_strikes 找触地,_stride_ema_samples 算实时值,mean_cadence_by 给全程值。

输出文件:自己检验算法对不对

每次运行在 running/data/output/ 下生成一个时间戳目录:

文件 内容
<clip>_pose.mp4 骨骼点叠加视频 + 实时面板
clearance.png 双脚踝高度曲线,标出每次触地,下方注 cadence——算法的"主图"
steps.png 每步步距与支撑时间,左右脚分开
knee.png 全部检测到的膝点,用来抓姿态估计错误
gait.json 逐步明细 + 逐帧信号
summary.txt 人类可读的步态报告

两个值得扫一眼的自检数字:

  • shank/thigh 比(触地时小腿/大腿长度比):人体两段都约为身高的 0.245,应读作 ≈1.0(演示中为 1.04 / 1.04),偏离说明关键点漂移;
  • step symmetry:报告明确标注它"单侧相机不可靠"——远近两腿穿越阈值的速度不同,测出的相位差可能来自相机几何而非跑者。cadence 则不受此影响。

完整算法叙述可看 running/cadence-explained.md。

动手跑起来:三步上手

git clone https://gitcode.com/gh_mirrors/vi/vision-demos
cd vision-demos
conda env create -f running/environment.yml
conda activate running
  1. 在仓库根目录的 .env 中填入 API key(姿态识别走云端,无需本地权重);
  2. 把你的侧面跑步片段放入 running/data/input/,并把 running/config.py 中的 INPUT_VIDEO 指到它;
  3. 运行 python main.py。

拍摄要点:

  • 侧面机位,两只脚踝都要可见;跑步机最理想(相机可以固定不动);
  • 手持跟拍 → 设 FOOT_REFERENCE = "hip",改为以同帧髋部为参照;
  • python main.py --trim 5 可只测前 5 秒快速试跑。

它做不到的事(边界)

  • 没有足部关键点:脚跟 / 中足 / 前掌着地模式、脚踝角度不可见;
  • 纯 2D:跨步过长(overstriding)、骨盆下沉、膝外翻需要第二机位;
  • 跑步机上没有距离与速度(跑者不位移);
  • 膝关节角是图像平面投影角:触地相位与教科书值吻合(约 20–25°),但摆动峰值会系统性偏低(胫骨恰在转离相机);
  • 仅单人视频,且腿部"剪刀交叉"时 ViTPose 偶尔会左右换点——knee.png 就是为发现这种情况准备的。

这套 demo 的价值不止于数字本身,更在于方法:用单一关节构造归一化信号 → 阈值穿越提取事件 → 在信号最平的参考点计时 → 用物理约束自检测量,是所有"从视频到生物力学指标"任务可复用的模板。

登录后查看全文
vision-demos