LMDeploy 项目中的 Torch 2.5.1 兼容性问题解析

在深度学习模型部署领域，LMDeploy 作为一个高效的工具包，其与 PyTorch 版本的兼容性一直是开发者关注的重点。近期，LMDeploy 官方放宽了对 PyTorch 版本的限制，从原先的 2.4.0 升级到了 2.5.1，这一变化引发了一些安装和使用上的问题。

问题背景

当用户尝试通过 pip 从源代码安装 LMDeploy 时，系统会自动将已安装的 PyTorch 2.5.1 降级到 2.4.0 版本。这一现象源于 LMDeploy 的依赖关系中，torchvision 的版本限制尚未同步更新到与 PyTorch 2.5.1 兼容的版本。

解决方案

经过项目维护者的确认和修复，现在可以通过以下两种方式解决该问题：

1. 使用传统依赖解析器安装
   通过添加 --use-deprecated=legacy-resolver 参数，可以绕过 pip 的新依赖解析机制，避免自动降级 PyTorch 版本：

   pip install "git+https://github.com/InternLM/lmdeploy.git@main" -U --use-deprecated=legacy-resolver --extra-index-url https://download.pytorch.org/whl/cu124
   

2. 手动安装兼容版本
   确保同时安装 PyTorch 2.5.1 和兼容的 torchvision 0.20.1 版本：

   pip3 install torch==2.5.1 torchvision==0.20.1 torchaudio --index-url https://download.pytorch.org/whl/cu124
   

注意事项

在安装过程中，可能会遇到关于 triton 版本的警告信息。目前 LMDeploy 固定使用 triton 3.0.0 版本，虽然与 PyTorch 2.5.1 推荐的 triton 3.1.0 存在版本差异，但经过测试表明 triton 3.0.0 仍能正常工作。

对于需要使用 turbomind 引擎的用户，需要注意：

• 预编译的 wheel 包或 nightly 构建包中可能不包含所有环境配置
• 如果找不到合适的预编译包，需要从源代码构建 turbomind 引擎
• 直接从源码安装可能会导致只能使用 PyTorch 引擎的警告

未来展望

LMDeploy 团队正在计划将 triton 升级到 3.1.0 版本，但需要进行全面的测试以确保兼容性。建议开发者关注项目更新，以获取最新的兼容性支持。

通过理解这些兼容性问题和解决方案，开发者可以更顺利地在新环境中部署和使用 LMDeploy，充分发挥其模型部署的高效能力。