在tgpt项目中配置自定义Ollama模型URL的完整指南

背景介绍

tgpt是一个功能强大的AI命令行工具，支持多种AI服务提供商。在实际使用中，用户可能需要将tgpt与自定义部署的Ollama模型服务集成，特别是当Ollama服务运行在非标准端口或路径时。

常见配置问题

许多用户在尝试将tgpt连接到自定义Ollama服务时遇到连接错误，典型表现为工具仍然尝试连接默认的11434端口而非用户指定的自定义URL。这通常是由于配置方法不当导致的。

正确配置步骤

1. 选择正确的provider参数
   必须将provider设置为openai而非ollama，因为Ollama服务兼容OpenAI API格式。

2. 完整URL格式
   URL必须包含完整的API端点路径，格式应为：http://host:port/v1/chat/completions
   例如：http://localhost:10000/v1/chat/completions

3. 精确指定模型名称
   必须使用Ollama服务中注册的完整模型名称，例如phi3.5:3.8b-mini-instruct-fp16或gemma2:2b

示例命令

完整的工作命令示例如下：

tgpt --provider openai --url "http://localhost:10000/v1/chat/completions" --model "gemma2:2b" "你的问题"

验证配置

可以通过询问模型自身信息来验证配置是否正确：

tgpt --provider openai --url "http://localhost:10000/v1/chat/completions" --model "phi3.5:3.8b-mini-instruct-fp16" "你是什么模型？"

注意事项

1. 确保Ollama服务已正确启动并监听指定端口
2. 确认模型已成功下载并注册到Ollama服务中
3. 如果使用GUI前端，确保其Ollama API端点与命令行配置一致
4. 防火墙设置可能阻止连接，必要时检查防火墙规则

通过以上步骤，用户可以成功将tgpt工具与自定义部署的Ollama模型服务集成，充分利用本地或私有部署的AI模型能力。