Liger-Kernel v0.5.9版本发布：新增XPU支持与GLM-4/Qwen3模型适配

Liger-Kernel是LinkedIn开源的一个深度学习框架内核组件，专注于为大规模语言模型提供高效的训练和推理能力。该项目通过优化底层计算内核，显著提升了模型训练效率，特别是在分布式训练场景下表现突出。

核心更新内容

1. XPU设备支持全面升级

本次版本对Intel XPU（原GPU）设备的支持进行了重要增强：

• 在setup.py中新增了针对XPU设备的安装配置，开发者现在可以更便捷地在XPU环境下部署Liger-Kernel
• 持续集成(CI)流程中增加了XPU测试环境的Docker容器支持，确保代码变更不会影响XPU兼容性
• 移除了部分在XPU设备上无法通过的测试用例，优化了测试流程

这些改进使得Liger-Kernel在异构计算环境中的适应性更强，为开发者提供了更多硬件选择。

2. 新增模型架构支持

v0.5.9版本扩展了对两种重要中文大模型的支持：

GLM-4模型支持

• 实现了GLM-4特有的局部交叉熵(LCE)前向计算逻辑
• 通过函数级导入优化了代码结构，提高了模块化程度

Qwen3模型适配

• 完整支持Qwen3系列模型的训练和推理
• 优化了logits保留逻辑，确保模型训练稳定性

这些新增支持使得Liger-Kernel能够更好地服务于中文NLP场景，为开发者提供了更多模型选择。

3. 训练优化与关键修复

DPO损失函数增强

• 为LigerFusedLinearDPOLoss增加了average_log_prob初始化参数
• 提供了更灵活的损失函数配置选项

交叉熵修复

• 修复了LigerCrossEntropy在reduction='none'模式下的计算问题
• 确保了损失计算的准确性

标签处理优化

• 改进了shift label的处理逻辑
• 提升了序列标注任务的训练稳定性

Gemma3多模态模型

• 调整了收敛测试的容错阈值(atol)
• 提高了多模态场景下的测试稳定性

技术影响与价值

Liger-Kernel v0.5.9的发布标志着该项目在以下几个方面的进步：

1. 硬件生态扩展：通过增强XPU支持，降低了使用Intel加速硬件的门槛，为用户提供了更多硬件选择。

2. 模型生态丰富：新增的GLM-4和Qwen3支持，特别是对中文大模型的适配，显著提升了框架在中文NLP领域的实用性。

3. 训练稳定性提升：多项关键修复和优化使得框架在复杂训练场景下表现更加可靠，特别是对强化学习从人类反馈(RLHF)相关任务的支持更加完善。

对于深度学习从业者而言，这个版本提供了更广泛的模型支持和更稳定的训练体验，特别是在中文NLP和多模态场景下。开发者可以更自信地将Liger-Kernel应用于生产环境，享受其高性能计算带来的效率提升。