DreamerV3自定义环境观测空间配置指南

观测空间配置的演进

DreamerV3作为深度强化学习框架，其环境观测空间配置方式经历了重要更新。早期版本要求用户通过mlp_keys和cnn_keys参数显式指定MLP和CNN网络处理的观测键，这种方式虽然灵活但增加了配置复杂度。

最新版本简化了这一过程，现在系统会根据观测空间的维度自动判断使用何种网络架构：

• 一维观测空间（如(27,)）会自动使用MLP处理
• 三维观测空间（如(64,64,3)）会自动使用CNN处理

默认配置行为

当使用FromGym包装器时，DreamerV3会默认处理环境中的所有观测空间。例如，对于包含以下观测的环境：

• 一维空间：beta(27,)、design_variables(48,)
• 三维空间：image(64,64,3)、structure_strain_energy(64,64,3)
• 标量值：n_steps_left(1,)、score(1,)、volume(1,)

系统会自动为每个空间选择适当的网络架构，无需额外配置。这种设计显著降低了使用门槛，特别适合快速原型开发。

高级配置选项

虽然系统提供了智能默认值，但用户仍可通过enc.spaces和dec.spaces参数进行精细控制：

# configs.yaml示例
enc:
  spaces: ['image', 'beta']  # 只编码这两个观测空间
dec:
  spaces: ['image']  # 只重建图像观测

这种选择性编码/解码机制在以下场景特别有用：

1. 需要忽略某些不重要的观测维度
2. 希望减少模型计算量
3. 特定任务只需要部分观测信息

实践建议

1. 初始阶段：建议先使用默认配置，评估模型表现
2. 优化阶段：通过分析各观测的重要性，选择性配置编码/解码空间
3. 性能考量：对于高维观测（如视频），考虑使用专门的CNN架构
4. 调试技巧：训练初期检查日志确认各观测空间是否被正确处理

DreamerV3的这种设计平衡了易用性和灵活性，使研究者既能快速上手，又能根据需求进行深度定制。理解这些配置机制有助于更好地利用框架处理各类强化学习任务，特别是在处理混合类型观测（视觉+向量）时表现出色。