解决jetson-containers项目中langchain:samples容器的依赖问题

问题背景

在jetson-containers项目中，langchain:samples容器是基于langchain:r35.4.1构建的，理论上应该包含pytorch、llama_cpp和langchain等依赖项。然而用户在实际使用中发现这些关键Python包并未正确安装，导致无法运行容器中的示例代码。

问题表现

当用户在langchain:samples容器中尝试导入关键Python包时，遇到了以下错误：

1. 导入torch失败：

ModuleNotFoundError: No module named 'torch'

2. 导入langchain失败：

ModuleNotFoundError: No module named 'langchain'

3. 运行示例笔记本LangChain_Local-LLMs.ipynb时，同样因为缺少langchain模块而失败。

问题根源

经过分析，这个问题是由于容器构建过程中依赖项未正确安装导致的。虽然langchain:samples容器声明了需要安装build-essential、cuda、cudnn、python、tensorrt、numpy、cmake、onnx、pytorch、huggingface_hub、llama_cpp、langchain、rust和jupyterlab等依赖，但在实际构建过程中这些Python包并未被正确安装到容器中。

解决方案

项目维护者通过提交修复了这个构建问题。修复内容包括：

1. 确保在构建过程中正确安装所有声明的Python依赖项
2. 验证torch、langchain等关键包的正确安装
3. 重新构建并推送所有JP5/JP6版本的容器到容器镜像仓库

额外发现的问题

在用户尝试自行构建容器时，还遇到了llama_cpp相关的构建错误：

OSError: libcuda.so.1: cannot open shared object file: No such file or directory

这个问题的原因是Docker默认运行时未正确设置为nvidia，导致构建过程中无法访问CUDA库。

完整解决方案

要完全解决这些问题，需要执行以下步骤：

1. 确保使用最新修复后的容器镜像

2. 设置Docker默认运行时为nvidia：

   • 编辑Docker配置文件
   • 添加nvidia作为默认运行时
   • 重启Docker服务

3. 验证环境配置：

   • 确认CUDA库可访问
   • 检查torch、langchain等Python包可正常导入
   • 测试示例笔记本能正常运行

技术要点

1. 容器构建过程中依赖项管理的重要性
2. Docker运行时配置对GPU加速应用的影响
3. Jetson平台特有的CUDA库路径问题
4. Python虚拟环境与系统Python环境的隔离

最佳实践建议

1. 在构建自定义容器前，始终检查基础镜像的完整性
2. 对于GPU加速应用，确保正确配置Docker运行时
3. 使用容器前验证关键依赖项的可用性
4. 定期更新容器镜像以获取最新修复

通过遵循这些步骤和建议，用户可以确保jetson-containers项目中的langchain相关容器能够正常工作，充分发挥Jetson平台的AI加速能力。