ChatTTS 如何选择合适的运行设备?CUDA、NPU、MPS 与 DML 的选择规则解析

原创2026-09-09 13:07:061,979 阅读
文章标签:语音音频基础模型大模型人工智能本地部署模型推理服务

ChatTTS 如何选择合适的运行设备?CUDA、NPU、MPS 与 DML 的选择规则解析

在部署 ChatTTS 时,如果机器上同时存在 NVIDIA GPU、昇腾 NPU,或只有 Apple M 系列芯片 / Windows 的 DirectML 环境,模型实际会跑在哪个设备上?默认情况下,调用 Chat.load() 而不传 device 参数时,ChatTTS 会自动执行设备探测和选择(select_device)。MPS 和 DML 默认不会启用,而是回退到 CPU,只有显式开启 experimental 才会生效。本文基于仓库源码与 README,说明这四类设备的判定顺序、内存阈值、加载时的 CPU 回退细节,以及如何通过 device / experimental 参数和 WebUI 命令行手动控制设备,并用日志验证最终选中的结果。

准备条件

先按 README.md 完成安装(以下命令在仓库根目录执行):

pip install --upgrade -r requirements.txt

或使用 conda(README 指定 python=3.11):

conda create -n chattts python=3.11
conda activate chattts
pip install -r requirements.txt

调用 chat.load() 时模型权重会自动下载(默认 source 为 "local",下载到当前工作目录),设备选择发生在权重下载完成之后、加载之前。设备选择本身不需要额外安装任何东西:CUDA/NPU/MPS 依赖对应平台已有的 PyTorch 后端;DML 路径额外要求环境中能 import torch_directml(源码通过 importlib.util.find_spec("torch_directml") 探测,装不上就直接跳过)。

自动选择规则:判定顺序与内存阈值

设备选择逻辑集中在 ChatTTS/utils/gpu.py 的 select_device(min_memory=2047, experimental=False),按以下顺序判定:

优先级 设备 判定条件 默认行为(experimental=False)
1 CUDA torch.cuda.is_available() 直接选用
2 NPU 未找到 CUDA,且 torch_npu 可用 直接选用
3 MPS torch.backends.mps.is_available() 回退 CPU
4 DML 可找到 torch_directml 模块 回退 CPU
5 CPU 以上均不满足 使用 CPU

各分支的具体规则:

  • CUDA 优先于 NPU。源码中 provider = torch.cuda if has_cuda else torch.npu,即只要存在 CUDA,NPU 分支根本不会进入。NPU 探测函数 _is_torch_npu_available() 会捕获 AttributeError(未安装 torch_npu)和 RuntimeError(未找到 NPU),两种情况都视为不可用。

  • 多卡时按空闲内存选卡。CUDA 或 NPU 分支会遍历 provider.device_count(),对每张卡计算 free_memory = total_memory - memory_reserved(i),选空闲内存最大的一张。

  • 空闲内存不足则降级 CPU。若选中卡的空闲内存低于 min_memory(默认 2047 MB,单位 MB),则打印告警并改用 CPU,告警格式为:

    cuda:0 has 1500.25 MB memory left. Switching to CPU.
    

    上行为按源码告警格式给出的示例。

  • MPS 默认不启用。源码注释明确写了当前结论:Currently MPS is slower than CPU while needs more memory and core utility, so only enable this for experimental use.,即 MPS 比 CPU 慢且占用更多内存,因此 experimental=True 时才使用 torch.device("mps")(对应 Apple M1/M2),并打印 experimental: found apple GPU, using MPS.;否则打印 found Apple GPU, but use CPU. 并使用 CPU。

  • DML 默认不启用。源码注释为 Currently DML is under developing and may output wrong result, so only enable this for experimental use.,即 DML 仍在开发中、可能输出错误结果。experimental=True 时执行 torch_directml.device(torch_directml.default_device()),并打印 experimental: using DML.;否则打印 found DML, but use CPU.。

  • 兜底 CPU。四类加速设备都不可用时,打印 no GPU or NPU found, use CPU instead,使用 CPU。

设备选定后,哪些模块仍在 CPU 上运行

即使自动选中了加速设备,ChatTTS/core.py 的 _load 中还有几处固定的 CPU 回退,理解它们有助于解释为什么"NPU 上跑"并不意味着全模型都在 NPU 上:

  • MPS 时 GPT 主体在 CPU。self.device_gpt = device if "mps" not in str(device) else torch.device("cpu"),即设备是 MPS 时,GPT 推理部分固定放 CPU。
  • Vocos 在 MPS/NPU 下放 CPU。源码注释:Vocos on mps will crash, use cpu fallback. Plus, complex dtype used in the decode process of Vocos is not supported in torch_npu now。对应代码把 Vocos 移到 CPU,_vocos_decode 里也是把频谱 .cpu() 后再解码。
  • NPU 下 DVAE 放 CPU。注释为 computation of MelSpectrogram on npu is not support now, use cpu fallback.,即 NPU 场景 MelSpectrogram 计算不支持,DVAE 落到 CPU。
  • compile 只对 CUDA 生效。gpt.prepare(compile=compile and "cuda" in str(device)),非 CUDA 设备传 compile=True 也不会真正编译。

也就是说:CUDA 设备是各组件支持最完整的路径;MPS 只把部分计算放上去、GPT 仍在 CPU;NPU 则把 Vocos 和 DVAE 固定在 CPU。

手动控制设备与 experimental 开关

三个控制入口都在文档和源码中有对应:

1. 显式指定 device,跳过自动探测。 Chat.load() 签名为 load(source="local", force_redownload=False, compile=False, custom_path=None, device=None, ..., experimental=False, ...),只有 device is None 才会调用 select_device。因此:

import ChatTTS
import torch

chat = ChatTTS.Chat()
chat.load(device=torch.device("cuda:0"))  # 跳过自动选择,直接指定设备

2. experimental 参数。 传 experimental=True 会同时影响两处:

chat.load(experimental=True)  # 启用 MPS / DML 实验路径
  • 设备选择走上面的实验分支(Apple GPU → MPS,装了 torch_directml 的 Windows 机器 → DML);
  • Linux + CUDA 下,ChatTTS/model/gpt.py 的 load_pretrained 会尝试加载 NVIDIA 加速的 TELlamaModel,日志为 Linux with CUDA, try NVIDIA accelerated TELlamaModel because experimental is enabled;若导入失败会打印 use default LlamaModel for importing TELlamaModel error: ... 并回退到默认 LlamaModel。注意 README.md 对 TransformerEngine 的态度是 DO NOT INSTALL!(适配仍在开发、目前无法正常运行,仅开发目的可装),所以生产部署不建议依赖这条实验路径。

3. WebUI 命令行。 examples/web/webui.py 提供 --experimental 参数,内部把 experimental 透传给 chat.load()(见 examples/web/funcs.py):

python examples/web/webui.py --experimental

不带该参数时按默认规则选择设备。

预览将选中哪个设备(可选)。 select_device 通过 ChatTTS/utils/__init__.py 导出,可以直接调用它、不加载模型,提前判断当前环境会选到哪个设备:

from ChatTTS.utils import select_device

print(select_device(min_memory=2047, experimental=False))

验证最终选中的设备

  • 加载日志。_load 在确定设备后打印 use device %s(如 use device cuda:0),这是确认实际设备的直接依据。若发生了降级,会看到 Switching to CPU.、found Apple GPU, but use CPU.、found DML, but use CPU. 或 no GPU or NPU found, use CPU instead。
  • 加载成功与否。chat.load() 返回 bool,chat.has_loaded() 检查 vocos、gpt、tokenizer、embed(以及 dvae 或 decoder)是否全部初始化。
  • WebUI。启动时看到 Models loaded successfully. 即加载成功;失败会打印 Models load failed. 并以退出码 1 结束进程。
  • 端到端验证。按 README.md 的 Basic Usage 推理一段文本并保存 wav:
texts = ["PUT YOUR 1st TEXT HERE", "PUT YOUR 2nd TEXT HERE"]
wavs = chat.infer(texts)

能拿到音频数组即说明所选设备链路(含 CPU 回退部分)工作正常。

资源要求与限制

  • 显存需求。README.md FAQ 给出的参考:30 秒音频片段至少需要 4GB GPU 显存;4090 上约每秒生成 7 个语义 token 对应的音频,RTF 约 0.3。结合 select_device 的 2047 MB 空闲内存阈值,空闲显存不足的卡会自动落到 CPU。
  • DML 可能输出错误结果,这是源码注释给出的边界,生产环境应视为不可用路径。
  • MPS 比 CPU 慢且占内存更多(源码注释原文结论),默认走 CPU 是有意为之。
  • NPU 需要可导入 torch_npu 且能检测到设备,且 Vocos、DVAE 会固定留在 CPU。
  • 可选加速库都带警告。README 明确标注 TransformerEngine 与 FlashAttention-2 均为 DO NOT INSTALL!:前者适配未完成,后者按所引 issue 反而会拖慢生成速度,均仅限开发目的。

下一步

如果确认设备与显存满足要求(4GB 起),可按 README 的 Quick Start 启动 WebUI(python examples/web/webui.py)或命令行推理(python examples/cmd/run.py "Your text 1." "Your text 2.")开始日常使用;需要在 Apple 芯片或 DirectML 环境上验证效果时,再加 --experimental 观察实验路径下的行为与日志。

登录后查看全文
ChatTTS