在AI-Town项目中配置本地LLM模型的实践指南

AI-Town是一个基于人工智能的虚拟小镇模拟项目，开发者可以通过配置不同的语言模型(LLM)来实现个性化的AI行为模拟。本文将详细介绍如何在AI-Town项目中成功配置本地运行的Qwen2.5-7B等开源大语言模型。

本地LLM配置的核心问题

许多开发者在尝试将AI-Town项目与本地运行的LLM(如通过Ollama或LM Studio运行的Qwen2.5-7B模型)集成时遇到了连接问题。典型错误包括"Request to http://127.0.0.1:11434/api/embeddings is forbidden"等。这些问题主要源于项目架构的特殊性——AI-Town使用Convex作为后端服务，而本地LLM服务需要正确暴露给这个后端。

配置本地LLM的关键步骤

1. 修改LLM配置参数： 在项目目录的convex/util/llm.ts文件中，开发者需要更新LLM_CONFIG设置。对于Qwen2.5-7B模型，应将chatModel参数修改为'qwen2.5:7b'，同时建议更新embeddingModel参数以匹配，例如使用'znbang/bge:large-en-v1.5-q8_0'。

2. 解决Convex后端连接问题：

   • 对于本地开发环境，建议使用命令npx convex dev --configure --dev-deployment local将Convex重置为本地模式
   • 确保Ollama服务已正确启动并监听11434端口
   • 检查防火墙设置，确保端口未被阻止

3. Docker环境特殊配置： 当项目运行在Docker容器中时，需要将Ollama的URL修改为http://host.docker.internal:11434，这是Docker提供的特殊域名，用于容器访问宿主机服务。

替代方案与疑难解答

对于无法解决的本地连接问题，开发者可以考虑以下替代方案：

1. 使用Together.AI等云服务：多位开发者反馈这是可行的替代方案
2. 通过ngrok建立隧道：将本地Ollama服务通过ngrok暴露到公网，然后配置AI-Town使用这个公开URL

最佳实践建议

1. 开发前清除.env.local中的Convex环境变量，确保从干净状态开始
2. 对于中国开发者，注意网络环境可能带来的额外挑战
3. 定期检查项目README的更新，获取最新配置指导
4. 考虑模型性能与硬件资源的平衡，7B模型通常需要至少16GB内存才能流畅运行

通过以上方法，开发者可以成功在AI-Town项目中集成本地LLM，实现高度自定义的AI行为模拟，为创建个性化的"AI家庭"等场景奠定基础。