训练不收敛先别改算法:步长与接触参数的两个隐形开关
训练不收敛先别改算法:步长与接触参数的两个隐形开关
做 MuJoCo 强化学习的人大多有过这种体验:PPO 的 reward 曲线趴在 0 附近一动不动,动作输出抖动、策略学出来像在抽搐。第一反应往往是换算法——调学习率、改损失权重、加 entroy 系数、甚至重训网络。但在动算法之前,有两个更底层、也更常被忽视的"隐形开关"值得先检查:仿真步长 timestep,以及接触参数 solref / solimp。它们直接决定了你给策略提供的"物理世界"是否可学:步长过大时观测序列里混入数值噪声甚至发散状态,接触参数配错时机器人每一步都在非物理地弹跳或穿透,任何算法在这种环境下都难以学到稳定的映射。
这篇文章基于 MuJoCo 仓库源码,把这两个参数从数据结构、默认值到求解器行为完整拆开,最后给一份可以直接照着做的排查顺序表。
一、步长不是"仿真速度设置",而是策略可学性的边界
1.1 源码里的第一步:mj_step 与积分器分派
一次仿真正的前进入口是 mj_step:
// advance simulation using control callback
void mj_step(const mjModel* m, mjData* d) {
// common to all integrators
mj_checkPos(m, d);
mj_checkVel(m, d);
mj_forward(m, d);
mj_checkAcc(m, d);
...
// use selected integrator
switch ((mjtIntegrator) m->opt.integrator) {
case mjINT_EULER:
mj_Euler(m, d);
break;
case mjINT_RK4:
mj_RungeKutta(m, d, 4);
break;
case mjINT_IMPLICIT:
case mjINT_IMPLICITFAST:
mj_implicit(m, d);
break;
case mjINT_DISCRETE:
...
mj_discrete(m, d);
break;
}
}
mj_forward 算出当前状态下的加速度,之后由 m->opt.integrator 决定用哪种数值方法把状态推进 timestep 秒。也就是说,timestep 不是渲染帧率,而是整个前向动力学里唯一的"时间尺度"——观测、执行器动态、接触约束求解,全部以它为基准离散化。
1.2 默认值与文档定位:官方称其为"最重要的单一参数"
步长默认值在 mj_defaultOption 中:
void mj_defaultOption(mjOption* opt) {
...
// timing parameters
opt->timestep = 0.002;
// solver parameters
opt->impratio = 1;
opt->tolerance = 1e-8;
...
}
对应到 MJCF,就是 <option timestep="0.002"/>。官方参考手册(doc/XMLreference.rst 的 option/timestep 条目)对它的定性非常直白:
Simulation time step in seconds. This is the single most important parameter affecting the speed-accuracy trade-off which is inherent in every physics simulation. Smaller values result in better accuracy and stability.
同一份文档还给出了硬约束:要达到实时性能,timestep 必须大于单步 CPU 耗时(用 RK4 时是 4 倍)。这对 RL 意味着两件事:
- 步长越大,单步越便宜,但物理越"糊"。接触类模型里,一个
timestep内弹簧-阻尼约束来不及收敛,表现为观测序列出现高频抖动,策略被迫去拟合数值伪影; - RL 里步长和策略频率通常是绑定的。很多环境直接"每步一次控制",此时
timestep = 1/控制频率。把timestep从0.002改成0.01省 5 倍仿真开销,等价于把控制频率从 500Hz 砍到 100Hz——对需要快速修正姿态的四足/人形任务,这就是策略"看起来怎么都学不会"的直接原因之一。
仓库自带的模型本身就是活证据。人形示例 model/humanoid/humanoid.xml 没有沿用默认值,而是显式写了:
<option timestep="0.005"/>
柔性体示例 model/plastic/clay.xml 则进一步把积分器、求解器、容差一起收紧:
<option timestep="0.003" solver="CG" iterations="150" tolerance="1e-5" integrator="discrete"/>
注意它是 discrete 积分器 + tolerance="1e-5"(比默认 1e-8 松三个数量级)+ 150 次 CG 迭代:柔性接触是"大步长 + 求解器更努力"的组合,而不是单纯缩步长。
1.3 一组可复现的对照实验设计
仓库不提供"不同步长下同一策略的收益曲线"这类成品数据,所以这里不引用任何编造数字,而是给一个可以自己跑出结论的受控实验设计——两组对照,每组固定其余一切变量:
对照组 A(基线):加载 model/humanoid/humanoid.xml,保持 timestep="0.005",用同一随机种子跑 10 万步,记录三个量:
d->qvel的最大范数(数值爆炸的信号);- 接触力
d->efc_force中法向分量的时间序列方差(抖动强度的代理指标); - 策略网络对同一条 rollout 的确定性动作重复性。
对照组 B(大步长):只把 timestep 改成 0.01(即控制频率砍半),其余参数、种子、训练代码完全不动,重复上述测量。
判读标准(由源码行为推出):若 B 组出现 qvel 尖峰、法向力方差显著抬升、或 rollout 中出现模型穿透(可用 mj_checkPos 触发后的 NaN 检查兜底),即可确认"步长导致的观测污染",此时任何算法侧的改动都是在拟合噪声。反之若两组曲线形态一致,才轮到检查算法超参。
这个设计的依据是 mj_step 里每步都会执行的 mj_checkPos / mj_checkVel / mj_checkAcc——MuJoCo 在每一步都内建了数值健全性检查,大步长下最先失守的就是它们。
二、接触参数的常见误配:solref 太小、solimp 太"软"、impratio 乱调
2.1 默认值长什么样:从 mj_defaultSolRefImp 看起
所有层级(option 全局、geom、flex、pair、joint limit/tendon)未显式指定的接触参数,最终都落到 mj_defaultSolRefImp:
void mj_defaultSolRefImp(mjtNum* solref, mjtNum* solimp) {
if (solref) {
solref[0] = 0.02; // timeconst
solref[1] = 1; // dampratio
}
if (solimp) {
solimp[0] = 0.9; // dmin
solimp[1] = 0.95; // dmax
solimp[2] = 0.001; // width
solimp[3] = 0.5; // midpoint
solimp[4] = 2; // power
}
}
solref[0] 是约束"弹簧-阻尼器"的时间常数,solref[1] 是阻尼比;solimp 五元组则定义法向恢复的阻抗-恢复曲线。这两个数组的取值不是孤立的——它们和 timestep 之间有一条明确的数值红线,官方在 refsafe 文档条目里写得很清楚(doc/XMLreference.rst):
This flag enables a safety mechanism that prevents instabilities due to solref[0] being too small compared to the simulation timestep. ... If this setting is enabled, the solver uses
max(solref[0], 2*timestep)in place of solref[0] separately for each active constraint. Under the discrete integrator, the flag instead replaces contact and limit rows whose spring the timestep cannot resolve (solref[0]*solref[1] < timestep) by the stiffest zero-restitution row for the timestep.
翻译成工程语言:当 solref[0] * solref[1] < timestep 时,这个接触约束的虚拟弹簧在一个时间步内根本来不及响应。此时 refsafe 默认会"救火"(把刚性强行抬到 2*timestep),但救火行为本身改变了物理:恢复系数被清零、刚度和你写的不是一回事,RL 环境里就表现为"同一个动作,接触帧和非接触帧的动力学行为不一致"——策略看到的奖励/观测信号里混入了一个与速度相关的随机因素。
离散积分器路径上这条红线还能在源码里直接看到。mj_discrete 相关的连续接触求解 中,每步都把 solref 换算成无量纲的"步刚度":
// compute dimensionless step stiffness (k0 = k * dt^2) and damping (b0 = b * dt) from solref
if (solref[0] > 0) {
...
k0 = -solref[0] * dt * dt;
b0 = -solref[1] * dt;
...
if (!mjDISABLED(mjDSBL_REFSAFE) && solref[0] > 0 && k0 > imp) {
// 超出单步可解析的刚度上限,做 refsafе 替换
}
}
k0 = k·dt² 这个形式说明了一切:同样的 solref,dt 翻倍,单步刚度贡献变成 1/4。这就是"改步长后必须回头检查接触参数"的数学原因——两个开关在离散化层面是耦合的。
2.2 三种典型误配及其在训练中的表现形态
(1) 把 solref 调得"很软"求稳定,结果训练信号被污染。
新手常见操作是接触抖动就把 solref="0.1 1",以为软一点就顺了。实际上按上面的判据,solref[0]=0.1、timestep=0.002 时 solref[0]*solref[1]=0.1 >> dt,物理上没问题但约束响应慢 50 倍,机器人落地后回弹缓慢、形变持续多步,reward 里"保持站姿"类项会被拖出长尾噪声。正确方向不是调软,而是检查 dt 和 solref 是否匹配:柔性任务参考 model/plastic/clay.xml 的写法,solref="0.003 1" 配 timestep="0.003",两者同量级且由 discrete 积分器 + 大迭代数保证收敛。
(2) solimp 恢复系数写高,弹跳帧淹没真实接触帧。
solimp[0..1](dmin/dmax)控制恢复阻抗区间,默认 0.9 0.95 已经是"近完全弹性"。如果场景里还有非默认的高恢复设置,落地帧会连续多帧产生方向突变的反冲,策略的价值函数在这种输入下难以收敛到稳定不动点。人形模型的做法值得抄:model/humanoid/humanoid.xml 里每个 geom 都显式写了 solimp=".9 .99 .003" 与 solref=".015 1",且 condim="1"(纯摩擦锥、关掉切向接触维数)——减少约束维数本身就是最便宜的去抖动手段。
(3) impratio 拉高治"打滑",在默认摩擦锥上踩坑。
impratio 默认 1(见 mj_defaultOption),含义是摩擦约束与法向约束的阻抗比。官方文档明确警告(doc/XMLreference.rst option/impratio 条目):
Settings larger than 1 cause friction forces to be "harder" than normal forces ... For pyramidal friction cones the situation is more complex because the pyramidal approximation mixes normal and frictional dimensions within each basis vector; it is not recommended to use high impratio values with pyramidal cones.
也就是说:靠 impratio="3" 之类的高值"硬摩擦"来压制滑动,在默认金字塔锥近似下会把法向/摩擦维数混在一起约束,接触帧的力分布失真。真正要治理"慢滑移(slow slippage)",更稳的路径是 condim 与摩擦系数的组合,而不是拉 impratio。
2.3 覆盖层级:你改的可能不是你以为的那一项
MuJoCo 的接触参数是"多级覆盖"结构。每对接触的实际 solref / solimp / friction 由 mj_contactParam 按优先级合并:
// compute contact condim, solref, solimp, friction, adhesion
void mj_contactParam(const mjModel* m, int* condim, mjtNum* solref, mjtNum* solimp,
mjtNum* friction, mjtNum* adhesion, int f1, int g1, int f2, int g2)
来源包括 <option> 的全局 o_solref/o_solimp(需开启 contact override)、<geom> 上的 solref/solimp、<contact> 对级参数、以及柔性体 flex_solref 等。mjmodel.h 中这些数组一一对应:geom_solref、pair_solref、jnt_solref、tendon_solref_lim 等。这带来一个排查陷阱:你在 <option> 里改的 o_solref 若没开 contact override,根本不生效;而某两个 geom 在 <contact> 上单独写了参数,又会把 option 的全局修改屏蔽掉。定位真实取值最可靠的方式是直接读编译后模型里对应 geom 的 geom_solref,而不是回头翻 XML。
三、一份可直接套用的参数排查顺序表
当 reward 不收敛时,按下面的顺序检查,越靠前的项越常见、越便宜:
| 优先级 | 检查项 | 位置/入口 | 不正常的表现 | 修正方向 |
|---|---|---|---|---|
| 1 | timestep 与任务时间尺度是否匹配 |
<option timestep=...>,默认 0.002(engine_init.c) |
观测高频抖动、姿态控制"来不及" | 先减半试;每步 CPU 耗时需小于 timestep(RK4 为 1/4) |
| 2 | solref<a href="https://link.gitcode.com/i/5c895780ec159b8a63fc3f36614ff900" target="_blank">0]*solref[1] 是否 ≥ timestep |
各级 solref + refsafe 条目([XMLreference) |
落地帧弹跳不一致、refsafe 静默改写刚度 |
让两者同量级;或改用 discrete 积分器(参考 clay.xml) |
| 3 | 参数覆盖层级:改的值真的生效了吗 | mj_contactParam(engine_core_constraint.c)、o_solref 需开 contact override |
改了 option 但行为无变化 | 检查 mjModel.geom_solref/pair_solref 实际值 |
| 4 | solimp 恢复系数是否过高 |
solimp="dmin dmax width midpoint power",默认 0.9 0.95 0.001 0.5 2 |
连续反冲帧、价值函数难收敛 | 降低 dmax 或按 humanoid.xml 显式收紧 |
| 5 | condim 是否开得过宽 |
<geom condim=...>,1=纯法向 |
切向接触帧引入额外噪声维数 | 刚体平地任务优先 condim="1" |
| 6 | impratio 是否被调高 |
<option impratio=...>,默认 1 |
慢滑移用高值"硬摩擦"压,金字塔锥下失真 | 保持 1,改用摩擦系数/condim 组合 |
| 7 | 求解器收敛:tolerance / iterations / solver |
<option tolerance=... iterations=... solver=...>,默认 tolerance=1e-8 |
大量接触时力解不收敛、步间力突变 | 接触多的大场景按 clay.xml 思路放宽容差、加迭代数,而不是继续缩步长 |
| 8 | 积分器类型 | <option integrator=...>:euler/rk4/implicit/implicitfast/discrete(mjtype.h) |
强阻尼关节下 Euler 数值能量漂移 | 高阻尼任务换 implicit;强接触任务换 discrete |
排查时的两个辅助手段:
- 开能量账本。
mj_step1/ mj_step2 路径中,mjENABLED(mjENBL_ENERGY)时每步会累计d->energy(动能/势能/接触耗散)。奖励曲线不动但能量序列在接触帧出现尖峰,基本可以锁定问题在第 2、4 行而非算法。 - 用
mj_print类的模型打印核对编译结果。mj_option、mj_geom的打印字段包含最终生效的timestep、solref、solimp,能一次性回答第 3 行的"覆盖层级"疑问。
四、为什么先查这两个开关,而不是先动算法
回到源码层面,原因可以归结为一句话:mj_step 每一步交给策略的观测,是"积分器 × 接触求解器 × 参数"三者的联合输出。算法(PPO/SAC 等)假设的马尔可夫性、奖励平滑性、观测连续性,全部建立在物理层数值行为一致的前提上。timestep 与 solref/solimp 正是破坏这三个性质最常见的两个入口:前者决定单步推进的可信度,后者决定接触帧与自由飞行帧的动力学是否同构。
对照仓库里的模型也能看出成熟项目的习惯:凡是不满默认 0.002 步长的场景(humanoid.xml 用 0.005、clay.xml 用 0.003),都是同时显式声明了接触参数和求解器配置,而不是只动一个数字。所以下次训练曲线趴着不动时,先花十分钟按第三节的表过一遍 option 和 geom,往往比换损失函数快得多——而且结论可复现、可归因。
