LLaMA-Factory项目中的vLLM-Ascend支持实现与问题解决

在LLaMA-Factory项目中集成vLLM-Ascend支持时，开发团队遇到了一系列技术挑战，特别是围绕NPU设备在多进程环境下的使用问题。本文将详细介绍这些问题的根源以及最终的解决方案。

问题背景

当尝试在LLaMA-Factory中支持vLLM-Ascend时，开发团队发现NPU设备在多进程环境下存在初始化问题。具体表现为：

1. 父进程调用torch_npu函数后，子进程无法正常使用NPU
2. 多卡环境下出现ACL_PRECISION_MODE错误(错误代码500001)

根本原因分析

深入分析后发现，这些问题源于torch_npu库的设计限制：

1. torch_npu运行时不支持fork启动方法，必须使用spawn或forkserver方法
2. 在多进程环境中，NPU设备的初始化需要特殊处理
3. 某些环境配置可能导致ACL接口调用失败

解决方案

经过多次测试和验证，开发团队找到了完整的解决方案：

1. 环境变量配置

必须设置以下环境变量：

export VLLM_WORKER_MULTIPROC_METHOD=spawn
export ASCEND_RT_VISIBLE_DEVICES=0,1  # 指定使用的NPU设备

2. 代码修改

在LLaMA-Factory的cli入口文件中需要进行以下修改：

1. 将主程序导入语句移动到if __name__ == '__main__':块内
2. 添加多进程支持代码：

from multiprocessing import freeze_support
freeze_support()

3. 配置示例

使用Qwen2.5-7B模型的示例配置：

model_name_or_path: Qwen/Qwen2.5-7B-Instruct-1M
template: qwen
infer_backend: vllm
vllm_enforce_eager: true
trust_remote_code: true

实现效果

实施上述解决方案后：

1. 单卡和多卡环境均能正常工作
2. 推理性能稳定
3. 命令行接口功能完整可用

技术要点总结

1. NPU设备在多进程环境中的使用需要特别注意启动方法
2. torch_npu库的初始化顺序对稳定性至关重要
3. 环境变量的正确配置是确保功能正常的关键

这一解决方案不仅解决了LLaMA-Factory项目中的具体问题，也为其他需要在多进程环境下使用NPU设备的AI项目提供了有价值的参考。开发团队将继续优化这一实现，确保其在各种环境下的稳定性和性能。