XuanCe 1.3.0版本发布：强化学习框架的重大升级

XuanCe是一个开源的强化学习框架，旨在为研究人员和开发者提供高效、灵活的算法实现和实验环境。本次1.3.0版本的发布带来了多项重要更新和改进，包括新算法支持、功能增强和错误修复，进一步提升了框架的实用性和性能。

核心功能更新

回调函数支持

1.3.0版本引入了回调函数功能，允许用户在训练过程中插入自定义代码块。这一特性极大地增强了框架的灵活性，使得开发者能够：

• 在训练过程中添加自定义监控逻辑
• 实现复杂的训练流程控制
• 方便地集成第三方工具和可视化组件

算法库扩展

本次更新新增了多个前沿强化学习算法的实现：

1. Dreamer系列：包括DreamerV3和DreamerV2两种基于世界模型的强化学习算法，为处理高维观测空间提供了有效解决方案。

2. TD3_BC算法：结合TD3和BC(Behavior Cloning)的优势，在离线强化学习场景中表现出色。

3. IC3Net：一种新型的多智能体通信网络架构，支持智能体间的选择性信息共享。

4. TarMAC：基于注意力机制的多智能体通信协议，能够实现更高效的协作。

5. DGN：扩散图网络算法，适用于图结构环境中的强化学习问题。

6. CRL(对比强化学习)：包括Self-Predictive Representations等数据高效的强化学习方法。

7. DrQ：数据高效的强化学习算法，特别适合图像输入场景。

环境兼容性改进

框架移除了对旧版gym的依赖，全面转向gymnasium 1.1.1版本，确保了与最新强化学习环境的兼容性。同时修复了Atari环境包装器的问题，新增了XuanCeAtariEnvWrapper，提供了更稳定可靠的Atari游戏环境支持。

重要问题修复

1. 修正了多智能体强化学习(MARL)设置中的测试结果计算错误，确保评估指标的准确性。

2. 对均值场强化学习算法(MFQ和MFAC)进行了全面更新和修复，提升了这些算法在实际应用中的稳定性。

3. 解决了IC3Net实现中的多个bug，确保算法能够正确运行。

架构优化

1. 新增了基础ViT(Vision Transformer)层实现，为处理视觉输入提供了新的选择。

2. 改进了算法模块的组织结构，使代码更易于维护和扩展。

3. 优化了测试流程，提高了框架的可靠性。

总结

XuanCe 1.3.0版本通过引入多项新特性和改进，进一步巩固了其作为全面强化学习框架的地位。新增的算法实现覆盖了从单智能体到多智能体、从在线学习到离线学习、从低维状态到高维视觉输入的多种场景，能够满足不同研究需求。回调函数等功能的加入大大提升了框架的灵活性，而环境兼容性的改进则确保了实验的可重复性和可靠性。这些更新使得XuanCe成为强化学习研究和应用开发的更加强大工具。