vision-demos 步频测量算法揭秘:踝关节高度信号如何换算成跑步 cadence 与触地时刻
vision-demos 步频测量算法揭秘:踝关节高度信号如何换算成跑步 cadence 与触地时刻
vision-demos 的 running 演示只用一段侧面视频就能测出跑步步频(cadence):它把每只脚踝相对"站立线"的高度变成一条周期性信号,检测每一次触地时刻(foot strike),再换算成每分钟步数(spm)。本文拆解这套步频测量算法的 4 个步骤,以及几个决定数字准不准的"细节设计"。
上图左侧是跑步机上的跑者,右侧面板实时显示 cadence(181 spm)、步频走势、触地瞬间的平均膝关节角度和两只脚踝的路径轨迹——这些数字全部来自同一条踝关节高度信号。
从视频到步频:算法四步走
1️⃣ 姿态估计:每帧 17 个关键点
姿态识别由 ViTPose-plus-large 模型完成,通过云端 API 调用,本地无需下载模型权重。每一帧返回 17 个 COCO 关键点,相关代码在 running/src/pose.py。
一个关键限制:COCO-17 没有脚跟、脚趾关键点,脚踝是最低的点。因此"脚落地"只能通过脚踝位置推断,而脚放平时脚踝仍高出地面几厘米。这直接决定了后文两个设计:高度零点必须逐脚"标定",时序参考点必须对固定偏移不敏感。
2️⃣ 构造"踝关节高度信号"
核心公式只有一行:
height =(该脚的站立线 − 脚踝 y 坐标)÷ 腿长
- 站立线(ground):取该脚踝 y 坐标的 90 分位数,而不是最低点——单帧最低值经常是坏姿态,而不是地面。并且逐脚各标定一条:侧面镜头下近侧腿和远侧腿投影高度不同(演示中约差 1% 腿长),共用一条线会污染触地时刻;
- 腿长:取"大腿中位长度 + 小腿中位长度",而不是直接平均髋-踝距离。跑步时膝盖大部分时间是弯的,直接平均测到的是"膝盖恰好弯了多少",实测会偏小 8–11%;
- 归一化后每只脚得到一条波:支撑期接近 0,摆动中期到峰值。两只脚交错,就得到经典跑步波形。
信号只做轻平滑:3 帧中值滤波去孤立尖峰,再加 3 帧滑动平均压抖动。窗口必须小,因为摆动峰只有约 10 帧宽,大窗口会把要用来定时的峰本身抹平。参数见 running/config.py 中的 GROUND_PERCENTILE、SMOOTH_MEDIAN_FRAMES、SMOOTH_MEAN_FRAMES。
3️⃣ 触地时刻检测:阈值穿越 + 两道保险
先从信号中估计"典型摆动高度"(所有峰的中位数,而非最大值——一帧坏数据不能移动全部阈值),再设置三道关卡:
| 参数 | 默认值 | 作用 |
|---|---|---|
SWING_PEAK_FRACTION |
0.55 | 摆动峰值必须超过典型高度的 55%,否则视为支撑期抖动,防止一个支撑误报两三次触地 |
CONTACT_FRACTION |
0.18 | 信号向下穿越典型高度 18% 处,记为一次触地 |
MIN_CONTACT_SECONDS |
0.10 | 支撑短于 0.1 秒是信号在摆动中途误切阈值,并入摆动期 |
为什么是 18%?这个阈值下测出的腾空占比约 30%(生理合理值);阈值再高,腾空占比会崩到 8%,没有跑者是这样跑的。
穿越瞬间还会做亚帧线性插值定时刻:30 fps 下一帧就是 33 ms,而一步约 350 ms,只看帧号会让步频带上一整条"台阶"误差。
4️⃣ 从触地到 cadence
每次触地给出两个时刻:
- 触地时刻(strike):阈值穿越的亚帧时间,用于视频里的闪光提示;
- 支撑中点(mid-stance):触地与离地两个插值时刻的中点,所有间隔都在支撑中点之间计时。
为什么不用触地时刻计时?阈值穿越发生在信号最陡处,阈值稍偏参考点就会滑动,而且两腿下滑速度不同,滑动量各不相同;支撑中点则两端对称地动,误差大幅抵消。
最终:
cadence = 120 ÷ 平均同脚 stride 时间
- 一个 stride 是"这只脚到下次同这只脚",含 2 步,所以是 60×2=120;
- 同脚对比意味着该脚参考点的任何固定偏移,在相减时首尾精确抵消——这就是 cadence 不受单相机近远腿几何污染的核心理由;
- 不用"步数 ÷ 总时长":视频从半程开始、在半程结束,除以总时长会偏低百分之几。
面板上的实时数值取指数滑动平均(最新 stride 权重 0.20,约等效 9 步窗口,即 CADENCE_SMOOTHING),比固定窗口更平稳,且只在重叠 stride 上更新,左右交替在每个样本里自动抵消。实现位于 running/src/gait.py:_strikes 找触地,_stride_ema_samples 算实时值,mean_cadence_by 给全程值。
输出文件:自己检验算法对不对
每次运行在 running/data/output/ 下生成一个时间戳目录:
| 文件 | 内容 |
|---|---|
<clip>_pose.mp4 |
骨骼点叠加视频 + 实时面板 |
clearance.png |
双脚踝高度曲线,标出每次触地,下方注 cadence——算法的"主图" |
steps.png |
每步步距与支撑时间,左右脚分开 |
knee.png |
全部检测到的膝点,用来抓姿态估计错误 |
gait.json |
逐步明细 + 逐帧信号 |
summary.txt |
人类可读的步态报告 |
两个值得扫一眼的自检数字:
- shank/thigh 比(触地时小腿/大腿长度比):人体两段都约为身高的 0.245,应读作 ≈1.0(演示中为 1.04 / 1.04),偏离说明关键点漂移;
- step symmetry:报告明确标注它"单侧相机不可靠"——远近两腿穿越阈值的速度不同,测出的相位差可能来自相机几何而非跑者。cadence 则不受此影响。
完整算法叙述可看 running/cadence-explained.md。
动手跑起来:三步上手
git clone https://gitcode.com/gh_mirrors/vi/vision-demos
cd vision-demos
conda env create -f running/environment.yml
conda activate running
- 在仓库根目录的
.env中填入 API key(姿态识别走云端,无需本地权重); - 把你的侧面跑步片段放入
running/data/input/,并把 running/config.py 中的INPUT_VIDEO指到它; - 运行
python main.py。
拍摄要点:
- 侧面机位,两只脚踝都要可见;跑步机最理想(相机可以固定不动);
- 手持跟拍 → 设
FOOT_REFERENCE = "hip",改为以同帧髋部为参照; python main.py --trim 5可只测前 5 秒快速试跑。
它做不到的事(边界)
- 没有足部关键点:脚跟 / 中足 / 前掌着地模式、脚踝角度不可见;
- 纯 2D:跨步过长(overstriding)、骨盆下沉、膝外翻需要第二机位;
- 跑步机上没有距离与速度(跑者不位移);
- 膝关节角是图像平面投影角:触地相位与教科书值吻合(约 20–25°),但摆动峰值会系统性偏低(胫骨恰在转离相机);
- 仅单人视频,且腿部"剪刀交叉"时 ViTPose 偶尔会左右换点——
knee.png就是为发现这种情况准备的。
这套 demo 的价值不止于数字本身,更在于方法:用单一关节构造归一化信号 → 阈值穿越提取事件 → 在信号最平的参考点计时 → 用物理约束自检测量,是所有"从视频到生物力学指标"任务可复用的模板。