dark-web-scraping-guide AI引擎配置:OpenAI、Claude还是Ollama本地模型?三种选择完全指南
dark-web-scraping-guide AI引擎配置:OpenAI、Claude还是Ollama本地模型?三种选择完全指南
dark-web-scraping-guide 是 Robin 暗网研究工具(NetworkChuck 第 480 集)的完整使用指南,其核心环节——语义过滤、查询优化和智能分析——完全依赖 AI 引擎驱动。OpenAI、Claude 还是 Ollama 本地模型?本文带你一次性搞清楚三种 AI 引擎的配置方法、性能差异与适用场景,快速完成 Robin 的 AI 引擎配置。
三种 AI 引擎速览:一张表看懂差异
Robin 的搜索流水线中,AI 引擎负责四个关键动作:查询改写(把 ransomware 扩展为语义更精准的查询)、语义过滤(900 条结果压缩到约 20 条高相关来源)、内容分析(提取关键情报、链接、下一步建议)和报告生成。引擎选得好坏,直接影响搜索结果质量和使用成本。
| 对比维度 | OpenAI (ChatGPT) | Anthropic (Claude) | Ollama (本地模型) |
|---|---|---|---|
| 部署方式 | 云端 API | 云端 API | 本机运行 |
| 隐私性 | 数据发送到 OpenAI 服务器 | 数据发送到 Anthropic 服务器 | ✅ 数据完全留在本地 |
| 响应速度 | 快 | 快 | 较慢(取决于硬件) |
| 分析质量 | 准确、稳定 | 优秀,长文本分析见长 | 取决于模型(如 Llama 3.1) |
| 费用 | 按 API 用量计费 | 按 API 用量计费 | 免费(消耗本地资源) |
| 配置项 | OPENAI_API_KEY |
ANTHROPIC_API_KEY |
OLLAMA_BASE_URL |
💡 一句话总结:追求质量与速度选 OpenAI 或 Claude;追求隐私与零成本选 Ollama。
Robin 运行前提:你需要准备什么
在配置 AI 引擎之前,确认基础环境已就绪。完整安装流程见 INSTALLATION.md,所需条件如下:
- Docker:容器平台,用于安全运行 Robin
- Tor:洋葱路由器,暗网访问通道
- Git:克隆 Robin 源码仓库
- API Key:OpenAI、Anthropic、Ollama 三者任选其一 ✅
详细清单可参考 README.md 中的 "What You Need" 章节。
AI 引擎配置步骤:编辑 .env 文件
Robin 通过 .env 环境变量文件读取 AI 引擎配置,所有配置集中在一个文件里完成。
第 1 步:创建配置文件
复制 Robin 仓库自带的示例环境文件:
cp .env.example .env
模板内容大致如下:
ANTHROPIC_API_KEY=
OPENAI_API_KEY=
GOOGLE_API_KEY=
OLLAMA_BASE_URL=
第 2 步:选择并填写其中一项
三种方案任选其一即可,完整说明见 INSTALLATION.md 的 "Configure API Keys" 章节。
方案 A:OpenAI(ChatGPT)
注册 OpenAI 平台并获取 API Key 后,填入:
OPENAI_API_KEY=sk-your-openai-api-key-here
Key 格式以 sk- 或 sk-proj- 开头。适合大多数用户,速度快、结果稳定,是入门首选。
方案 B:Anthropic(Claude)
在 Anthropic 控制台创建 Key 后,填入:
ANTHROPIC_API_KEY=sk-ant-your-anthropic-api-key-here
Key 格式以 sk-ant- 开头。官方评价其分析能力出色(Excellent analysis),适合需要深度解读暗网内容的专业威胁研究者。
方案 C:Ollama 本地模型
Ollama 让模型在你自己的机器上运行,主打隐私保护:
- 安装 Ollama 并拉取一个模型(官方推荐 Llama 3.1):
ollama pull llama3.1
- 在
.env中配置 Ollama 服务地址:
OLLAMA_BASE_URL=http://localhost:11434
⚠️ 注意:如果 Robin 和 Ollama 都跑在 Docker 里,容器之间无法通过 localhost 互访,应改为:
OLLAMA_BASE_URL=http://host.docker.internal:11434
第 3 步:保存并重启
用 nano .env 编辑完成后保存(Ctrl+X → Y → Enter),然后重启容器让配置生效:
docker-compose down
docker-compose up -d
🔒 安全提醒:.env 文件包含敏感密钥,切勿提交到 Git 或公开分享。
在 Robin 界面中切换 AI 引擎
配置完成后,Robin 的 Web 界面(默认 http://localhost:8501)左侧侧边栏内置了 LLM 选择器,可在三种引擎之间随时切换:
- OpenAI (ChatGPT) — 快速、准确
- Anthropic (Claude) — 分析能力优秀
- Ollama (Local) — 隐私优先,本地运行,速度较慢
具体界面说明见 USAGE.md 的 "Left Sidebar: LLM Selection" 章节。
常见配置问题快速排查
配置出错时不必慌,90% 的问题都能通过以下两步定位。完整排障手册见 TROUBLESHOOTING.md。
API Key 认证失败怎么办
遇到 "API Key Invalid" 或 "Authentication Failed" 时,按顺序检查:
- 核对 Key 前缀:OpenAI 应为
sk-/sk-proj-开头,Anthropic 应为sk-ant-开头 - 检查多余空格:
.env中=两侧不能有空格:
OPENAI_API_KEY=sk-your-key-here ✅ 正确
OPENAI_API_KEY = sk-your-key-here ❌ 错误(等号两侧有空格)
- 确认账户余额:在对应平台的账单页面确认仍有可用额度
- 重新生成 Key:确认无误仍失败时,到平台重新生成并更新
.env,再重启容器
Ollama 连接失败怎么办
选中 Ollama 但搜索失败、报 "Connection refused" 时:
- 执行
ollama list确认 Ollama 已安装并在运行 - 执行
curl http://localhost:11434/api/tags验证服务是否在监听 - 确认已拉取模型:
ollama pull llama3.1 - Docker 场景下把地址换成
http://host.docker.internal:11434
此外,若搜索耗时超过 10 分钟,也可能是云端 API 响应慢;换用更小的 Ollama 本地模型还能降低 CPU 与内存占用。
三种方案怎么选:场景化建议
| 你的情况 | 推荐引擎 | 理由 |
|---|---|---|
| 第一次使用 Robin 的新手 | OpenAI | 配置最简单,速度和质量均衡 |
| 专业威胁情报分析 | Claude | 长文本分析与摘要能力突出 |
| 担心研究数据上传云端 | Ollama | 数据不出本机,符合安全研究规范 |
| 硬件配置有限(8GB 内存以下) | 云端 API | 本地模型推理资源消耗较大 |
| 离线环境 / 零预算 | Ollama | 无网络依赖、无 API 费用 |
也可以混合使用:.env 里同时填写多个 Key,在界面侧边栏按任务需要随时切换。
总结
- Robin 支持 OpenAI、Claude、Ollama 三种 AI 引擎,只需在
.env中配置对应变量,任选其一即可 - OpenAI 适合求稳求快,Claude 适合深度分析,Ollama 适合隐私敏感和零成本场景
- 配置后记得重启容器,并检查 Key 格式与空格问题
配置完成后,建议先阅读 SAFETY.md 了解法律与安全边界——本工具仅限教育、安全研究与防御性用途。祝你的暗网威胁情报研究顺利!🔍