Bolt.diy项目本地运行LLM模型的解决方案

问题背景

在使用Bolt.diy项目进行本地开发时(pnpm run dev模式)，许多开发者遇到了无法正常加载Ollama和LLM Studio模型的问题。经过深入研究和测试，我们找到了可靠的解决方案。

核心问题分析

该问题主要源于项目配置中API基础地址的设置不当。默认情况下，项目可能没有正确指向本地运行的模型服务地址，导致前端无法与本地模型服务建立连接。

详细解决方案

1. 配置Ollama服务

打开项目根目录下的.env.local文件，找到Ollama相关配置部分，进行如下修改：

OLLAMA_API_BASE=http://127.0.0.1:11434

这个地址是Ollama默认的本地服务地址，11434是其默认端口号。

2. 配置LLM Studio服务

在同一文件中，找到LLM Studio相关配置部分，修改为：

LLM_STUDIO_API_BASE=http://127.0.0.1:1234

1234是LLM Studio的默认本地服务端口。

3. 服务提供者选择

在项目前端界面中，需要确保：

• 已正确选择Ollama或LLM Studio作为提供者
• 不需要填写任何API密钥字段（因为使用的是本地服务）
• 模型选择下拉框中应该会出现本地已下载的模型

4. 模型加载技巧

对于LLM Studio，首次使用时需要：

1. 在聊天界面发送任意消息
2. 系统会自动加载可用模型
3. 可以在LLM Studio的控制面板查看模型加载状态

常见问题排查

1. 服务无响应：

   • 确保Ollama/LLM Studio服务已启动
   • 检查端口号是否正确
   • 尝试使用小型模型(1B或3B参数)测试

2. 模型不显示：

   • 确认本地已下载所需模型
   • 检查.env.local文件修改后是否保存
   • 重启开发服务器

3. 响应速度慢：

   • 本地硬件性能可能不足
   • 建议使用较小规模的模型
   • 检查系统资源占用情况

技术原理

这种配置方式的本质是让前端应用直接与本地运行的模型服务通信。通过指定127.0.0.1地址，确保了网络请求不会外发到互联网，而是保持在本地环回接口。这种方法既安全又高效，特别适合开发和测试环境使用。

最佳实践建议

1. 开发环境下优先使用本地模型服务
2. 生产环境考虑使用Docker部署方案
3. 定期检查模型服务的日志输出
4. 对于性能较弱的开发机，建议使用量化后的小模型

通过以上配置和优化，开发者可以顺利地在本地开发环境中使用Bolt.diy项目与各种LLM模型进行交互。