LeRobot项目中ACT策略输入维度问题的分析与解决

问题背景

在使用LeRobot项目中的ACT(Adaptive Computation Time)策略时，开发者可能会遇到一个关于输入张量维度不匹配的问题。这个问题出现在将不同来源的特征进行拼接时，具体表现为机器人状态嵌入(robot_state_embed)产生了意外的四维张量，而其他输入如分类嵌入(cls_embed)和动作嵌入(action_embed)则是三维张量。

问题现象

当尝试运行ACT策略的前向传播时，系统会抛出"Tensors must have same number of dimensions: got 3 and 4"的错误。通过检查各输入张量的形状，我们可以发现：

• 分类嵌入(cls_embed): [8, 1, 512]
• 机器人状态嵌入(robot_state_embed): [8, 1, 1, 512]
• 动作嵌入(action_embed): [8, 100, 512]

这种维度不匹配导致无法直接进行张量拼接操作。

问题根源

经过深入分析，这个问题源于数据预处理阶段的delta_timestamps设置。当为观测键(如"observation.images.top"和"observation.state")指定delta_timestamps时，数据处理流程会自动为这些观测值添加一个序列维度。然而，ACT策略当前的设计仅支持处理单一观测值，而非观测序列。

解决方案

针对这个问题，有两种可行的解决方案：

1. 简化输入配置：移除对观测键的delta_timestamps设置，仅保留动作的时序信息：

delta_timestamps = {
    "action": [t / 50 for t in range(config.chunk_size)]
}

2. 修改模型实现：调整ACT策略的输入处理逻辑，使其能够正确处理带有序列维度的观测输入。这需要对vae_encoder_robot_state_input_proj等组件进行相应修改。

最佳实践建议

对于使用LeRobot项目中ACT策略的开发者，建议注意以下几点：

1. 理解不同策略对输入数据格式的要求差异
2. 在配置delta_timestamps时，考虑策略是否设计用于处理序列化观测
3. 当遇到维度不匹配问题时，首先检查各输入张量的形状
4. 对于ACT策略，目前推荐采用简化输入配置的方案

未来改进方向

LeRobot开发团队已经意识到这个问题，并计划在后续版本中改进相关设计，使其更加直观和健壮。可能的改进包括：

1. 增强策略对多种输入格式的兼容性
2. 提供更清晰的文档说明各策略的输入要求
3. 实现自动化的输入维度检查和调整

这个问题虽然表面上是简单的维度不匹配，但反映了深度学习系统中数据预处理与模型设计之间协调的重要性。理解这类问题有助于开发者更好地构建和调试复杂的机器人学习系统。