KeyBERT项目在Kubernetes环境中的CUDA依赖问题解析

问题背景

在使用KeyBERT项目进行关键词提取时，开发者在Kubernetes+AWS x86架构的无GPU环境中遇到了libcudart.so.12共享库缺失的错误。这一错误表明系统尝试加载CUDA运行时库，但在无GPU环境中这些库并不存在。

错误分析

错误日志显示，当尝试导入KeyBERT模块时，系统抛出了OSError: libcudart.so.12: cannot open shared object file异常。深入分析调用栈可以发现：

1. 错误起源于PyTorch库的初始化过程
2. PyTorch尝试预加载CUDA相关依赖库
3. 在无GPU环境中，这些CUDA库自然不存在，导致加载失败

根本原因

这一问题的核心在于PyTorch的安装方式。通过Pipenv安装的PyTorch默认会安装带有CUDA支持的版本，这会导致：

1. 即使在没有GPU的环境中，PyTorch也会尝试加载CUDA相关库
2. 当CUDA库不存在时，就会抛出上述错误

解决方案

针对这一问题，有以下几种解决方案：

方案一：安装CPU版本的PyTorch

在无GPU环境中，应该安装专门为CPU优化的PyTorch版本。可以通过以下命令安装：

pip install torch==2.3.0 --index-url https://download.pytorch.org/whl/cpu

方案二：使用Pipenv明确指定CPU版本

在Pipfile中明确指定PyTorch的CPU版本：

[packages]
torch = {version = "==2.3.0", index = "https://download.pytorch.org/whl/cpu"}

方案三：使用环境变量控制CUDA行为

在某些情况下，可以通过设置环境变量来禁用CUDA：

export CUDA_VISIBLE_DEVICES=""

最佳实践建议

1. 环境适配：在部署前，应明确目标环境是否具备GPU支持
2. 版本控制：对于生产环境，建议固定所有依赖的版本号
3. 构建优化：考虑使用多阶段Docker构建，为不同环境构建不同的镜像
4. 依赖检查：在CI/CD流程中加入环境兼容性检查

总结

在无GPU环境中使用KeyBERT等依赖PyTorch的NLP工具时，必须特别注意PyTorch的安装版本。默认安装的PyTorch通常会包含CUDA支持，这在无GPU环境中会导致运行时错误。通过安装专门的CPU版本或正确配置环境，可以避免这类问题，确保应用在各种环境下都能稳定运行。