AllTalk TTS 项目中的 CUDA 和 PyTorch 兼容性问题解决方案

问题背景

在 AllTalk TTS 项目中，用户在使用 text-generation-webui 扩展时遇到了 CUDA 不可用的问题。系统显示 PyTorch 版本为 2.2.1+cpu，表明当前环境中 PyTorch 没有正确加载 CUDA 支持。这个问题尤其影响使用 NVIDIA GeForce RTX 4060 Ti 16GB 显卡的用户。

核心问题分析

1. PyTorch 与 CUDA 版本不匹配：项目需要 PyTorch 带有 CUDA 扩展支持，但当前安装的是 CPU 版本
2. Python 环境兼容性：text-generation-webui 目前仅验证支持 Python 3.11.x 环境
3. CUDNN 依赖问题：NVIDIA 官方仅提供了 Python 3.11.x 的 CUDNN 包

解决方案

标准解决方案（推荐）

1. 确保使用正确的 Python 环境：

   • 使用 text-generation-webui 提供的 start_windows.bat 安装和运行
   • 在运行 atsetup.bat 前先执行 cmd_windows.bat

2. 验证 PyTorch CUDA 支持：

   pip show torch
   

   确认输出中包含 +cuXXX（如 +cu121），表示已安装 CUDA 支持

强制安装 PyTorch 带 CUDA 支持

如果标准方法无效，可尝试以下步骤：

1. 清除 pip 缓存：

   pip cache purge
   

2. 卸载现有 PyTorch：

   pip uninstall torch torchaudio torchvision
   

3. 安装指定版本的 PyTorch 带 CUDA 支持：

   pip install torch==2.2.1+cu121 torchaudio>=2.2.1+cu121 torchvision --upgrade --force-reinstall --extra-index-url https://download.pytorch.org/whl/cu121
   

特殊情况处理

如果不需要使用微调(Fine-tuning)或 TTS 生成器的分析功能，可以：

1. 编辑 requirements_textgen.txt 文件
2. 移除 nvidia-cudnn-cu11>=9.0.0.312 依赖项

技术要点说明

1. PyTorch CUDA 版本：必须与安装的 CUDA 工具包版本匹配
2. CUDNN 与 CUDA 工具包：这是两个独立的组件，CUDNN 是用于深度神经网络加速的库
3. 环境隔离：建议使用项目提供的标准环境，避免自定义环境带来的兼容性问题

验证方法

成功配置后，AllTalk 启动时应显示类似信息：

Current PyTorch Version: 2.2.1+cu121
Current CUDA Version   : 12.1

注意事项

1. 目前 text-generation-webui 仅正式支持 PyTorch 2.2.1 版本
2. 更高版本的 PyTorch 可能与部分模型加载器不兼容
3. 自定义 Python 环境可能导致不可预见的依赖冲突

通过以上方法，大多数用户应该能够解决 CUDA 不可用的问题，使 AllTalk TTS 能够充分利用 GPU 加速功能。