免API Key也能用:Union-search-skill 8大网页搜索引擎直连实战
免API Key也能用:Union-search-skill 8大网页搜索引擎直连实战
Union-search-skill 是一款开源多平台搜索技能,无需 API Key 即可直连百度、搜狗、DuckDuckGo、Brave 等 8 大网页搜索引擎:一条命令并行检索,默认返回每个渠道的全部结果,再按页面地址去重,新手装好 Python 依赖几分钟就能跑通。
什么是 Union-search-skill?
Union-search-skill(Union Search)是面向命令行和 AI Agent 用户的多平台搜索工具,接入 51 个搜索渠道与 24 个图片平台:
| 分类 | 数量 | 是否需要 Key |
|---|---|---|
| 无需必填 API Key 的渠道 | 25 个 | ❌ 免 Key 直连 |
| API 服务商渠道 | 23 个 | ✅ 需配置凭据 |
| 本机 AI 工具渠道 | 3 个 | 复用本机登录态 |
对多数用户最有价值的就是 general 默认网页分组——直连 8 大网页搜索引擎,不注册账号、不申请 Key、不花钱。
8 大免 Key 网页搜索引擎一览
general 分组的 8 个渠道依次为:
| 搜索引擎 | 渠道名 | 特点 |
|---|---|---|
| 百度 | baidu_direct |
中文内容覆盖强 |
| 360 搜索 | so360_direct |
国内互补覆盖 |
| 搜狗 | sogou_direct |
中文与微信内容见长 |
| DuckDuckGo | duckduckgo |
英文结果,支持翻页参数 |
| Brave | brave |
英文结果,索引较新 |
| Yahoo | yahoo |
自动处理 URL 重定向 |
| Yandex | yandex_direct |
匿名访问,覆盖俄语与国际站点 |
| Quark | quark_direct |
匿名访问的移动系搜索引擎 |
8 个网页渠道全部由项目独立实现,无外部项目运行依赖,分组注册逻辑见 scripts/union_search/union_search.py。
快速安装与环境检查
三步完成安装:
git clone https://gitcode.com/gh_mirrors/un/union-search-skill
cd union-search-skill
python -m pip install -r requirements.txt
依赖清单见 requirements.txt。装完后用 doctor 做一次环境体检:
python union_search_cli.py doctor --pretty
doctor 检查本地依赖与凭据状态——网页直连渠道完全不需要配置任何 API Key,依赖装好即可用。
一条命令并行检索 8 大搜索引擎
python union_search_cli.py search "Python packaging" --limit 5 --deduplicate --pretty -o .work/search.json
不指定 --platforms 时默认走 general 分组,也就是说这条命令会同时查询 8 大引擎并按渠道归并结果。常用参数:
| 参数 | 作用 |
|---|---|
--limit 5 |
每个渠道的结果上限,0 表示不限 |
--deduplicate |
跨渠道按页面地址去重合并 |
--preset small |
快速预设:3 / 5 / 10 / 20 条 |
-o 文件 |
把完整 JSON 结果保存到文件 |
只想查单一引擎时,平台名可以直接当作子命令:
python union_search_cli.py duckduckgo "Python packaging" --limit 3 --pretty
# 等价于
python union_search_cli.py platform duckduckgo "Python packaging" --limit 3 --pretty
完整命令与参数说明见 scripts/cli/README.md,免 Key 直连脚本位于 scripts/channels/ 各引擎目录(如 duckduckgo_no_api.py)。
看懂结果:统一 JSON 与 URL 去重
所有结果返回统一的 JSON 信封:先看顶层 ok,再读 data.final_items——每条包含标题、URL、摘要、日期、缩略图与来源,格式统一、结构稳定。
- 按 URL 去重:多个引擎命中同一页面会合并为一条,
sources字段保留各来源的原始排名; - 别把渠道数当证据数:百度、360、搜狗命中同一篇文章,去重后只是一个来源;
- 部分失败不影响整体:某个渠道遇到验证码或 429,其他渠道的结果照常保留在
data中。
统一字段与输出结构详见 references/output_fields.md。
限流与常见报错应对
⚠️ “免 API Key”不等于“无限流”。网页渠道内置了自动限速保护,这也是它比裸抓网页更稳的原因:
| 场景 | 行为 |
|---|---|
| 同一主机请求 | 跨进程保持至少 2 秒间隔 |
| 收到 HTTP 429 | 按 Retry-After 冷却,缺失时默认冷却 300 秒 |
| 触发验证码 | 冷却 900 秒,直接返回 COOLDOWN 错误,不自动重试 |
- 冷却状态持久化在
.work/web-search-state.sqlite,冷却期内再次执行会快速失败而不是干等; - 遇到 429 或验证码,先停止密集请求,具体频率建议见 references/rate_limits.md;
- 参数、网络与零结果问题,参考 references/troubleshooting.md。
进阶:搜索之后提取正文
搜到来源后,用 defuddle 命令把网页正文提取成 Markdown,便于阅读或交给 AI 分析:
python union_search_cli.py defuddle "https://example.com" --format markdown -o .work/article.md
完整工作流、渠道选择与凭据指南见 SKILL.md 和 references/search_workflow.md。
对免 Key 直连用户来说,这套组合开箱即用:8 引擎并行 + URL 去重 + 统一 JSON,装完依赖现在就能试。🚀