R2R项目集成Ollama本地大模型服务的配置问题与解决方案

问题背景

在R2R项目中集成Ollama本地大模型服务时，开发人员经常会遇到连接失败的问题，错误信息显示"OllamaException - All connection attempts failed"。这个问题主要源于Docker容器网络配置与Ollama服务端点设置不当。

问题分析

通过错误日志可以观察到，虽然Ollama服务在主机上正常运行，但R2R容器无法与其建立连接。根本原因在于：

1. 网络地址配置不当：容器内使用localhost或host.docker.internal可能无法正确解析到主机服务
2. API端点格式错误：配置文件中保留了不必要的/v1后缀
3. 配置覆盖问题：环境变量与配置文件中的设置存在冲突

详细解决方案

1. 正确配置Ollama服务

首先确保Ollama服务以正确方式启动：

OLLAMA_HOST=0.0.0.0:11434 ollama serve

这种配置使Ollama监听所有网络接口，便于容器访问。

2. 确定容器网络地址

在Linux系统上，Docker容器需要通过主机的Docker网桥IP（通常是172.17.0.1）访问主机服务。可以通过以下命令验证连通性：

docker exec -it 容器ID curl http://172.17.0.1:11434

3. 修改配置文件

需要修改三个关键配置文件：

full_ollama.toml:

[completion]
provider = "litellm"
concurrent_request_limit = 1

[completion.generation_config]
temperature = 0.1
top_p = 1
max_tokens_to_sample = 1024
stream = false
api_base = "http://172.17.0.1:11434"  # 注意移除/v1后缀

r2r-full.env:

OLLAMA_API_BASE=http://172.17.0.1:11434

4. 配置文件的放置与引用

将修改后的full_ollama.toml放置在user_configs目录下，并在.env文件中正确指定配置路径：

R2R_CONFIG_NAME=full_ollama
R2R_CONFIG_PATH=user_configs

技术原理

这个问题涉及Docker网络模型的核心概念。当容器需要访问主机服务时，不能使用localhost，因为localhost在容器上下文中指向容器自身。正确的方式是：

1. 使用主机在Docker网桥中的IP（如172.17.0.1）
2. 确保服务监听0.0.0.0而不仅仅是127.0.0.1
3. 注意API端点URL的格式，某些框架会自动添加版本路径

验证步骤

配置修改后，可以通过以下方式验证：

1. 检查容器日志，确认使用的是正确的API地址
2. 在容器内执行curl测试连接
3. 观察R2R启动日志中打印的配置信息

总结

在R2R项目中集成本地Ollama服务时，网络配置是关键。通过正确设置服务监听地址、容器访问地址以及API端点格式，可以解决常见的连接问题。这个案例也展示了Docker网络配置和微服务集成中的一些最佳实践，对于其他类似项目的集成具有参考价值。