「让 AI 自己去查」是不是伪需求:反对派的四个理由
「让 AI 自己去查」是不是伪需求:反对派的四个理由
last30days-skill 的 README 上挂着一枚自述徽章:当日 GitHub Trending 第一。社区反馈也跟得上,情报快照里的技术博客几乎用同一套话术复述它:「自动聚合过去 30 天 X、Reddit 与网页讨论」「让 Agent 拥有趋势感知」「一句话生成深度研究报告」。
热度和正确性是两件事。本文不打算再写一遍上手教程,而是把这个项目当作靶子,把反对意见压缩成四条最能站住脚的,然后逐条对照仓库源码做裁决:哪些是偏见,哪些是它自己写在代码里的承认。
先看清它的真实形态:两个模型在分工
很多讨论把 /last30days 当成「一个会搜索的模型」,这是误解的第一层。仓库里的实际结构是两个执行体:
- 检索层是确定性的 Python 引擎,入口在 last30days.py,调度在 pipeline.py,负责并行拉取、归一化、时间窗过滤、去重、打分、聚类。
- 规划与综合层是宿主 LLM。SKILL.md 的 LAW 7 写得很直白:
--plan在具名实体话题上是强制的,查询计划由宿主推理模型生成,"YOU ARE THE PLANNER"。
这个分工决定了后面所有争议的走向:证据项是机器产出的,结论句是模型写的。可信度问题必须拆成这两层来看,混为一谈的批评和混为一谈的吹捧一样不成立。
理由一:可信度无法核验,结论没法回溯到原始讨论
这是最流行的一条反对意见,也是最容易被仓库打脸的一条,但只被打掉一半。
已经工程化的部分很硬。SKILL.md 的 LAW 8 规定:绝不猜测、重构或拼接 URL;评论引用必须用该评论自己的链接;GitHub issue 必须带 owner/repo#123 这类条目级标签,不许截断成仓库根地址。LAW 1 要求内联引用,并明确禁止在结尾堆一个重复的 Sources: 列表来假装有据可查。
更关键的是离线的评测基线。tests/eval/baseline.json 把指标写成了硬门禁:
| 指标 | 门槛 | 含义 |
|---|---|---|
citation_grounding |
1.0 | 导出的结果 URL 必须全部出现在录制输入中 |
recency_compliance |
1.0 | 排序结果必须落在报告声明的日期窗内 |
coverage |
1.0 | 每个 fixture 源都要有可用条目或显式状态 |
determinism |
1.0 | 相同输入两次运行的导出必须完全相等 |
cluster_coherence |
0.8 | 簇内候选的实体重叠度达标 |
这套 harness 被挂在 CI 的 eval job 上(validate.yml),fixture 覆盖具名人物、技术产品、对比查询、突发事件、小众技术话题、非英文 CJK 话题等 8 类。也就是说,「引用是不是真的来自检索结果」这件事,在这个仓库里不是靠自觉,而是会挂构建的。
还有一层容易被忽略的诚实:它区分「查了没有」和「没查成」。schema.py 的 SourceOutcome 状态包含 no-results、partial、rate-limited、auth-failed、payment-required、schema-drift、skipped-unconfigured、error。SKILL.md 明确规定:只有 no-results 才代表干净完成且零命中,剩下那些状态不能被表述成「X/Reddit 上没人讨论」。这是一个非常反直觉的设计选择,因为把失败说成「没有」恰好是 AI 调研最典型的撒谎方式。
对于可以机器核验的事实,它甚至做了一次「行为时」校验。freshness.py 只抽取保守的、结构化的断言:Polymarket 的赔率与结束日期、GitHub star 数、StockTwits 情绪比例,以及 is/was/remains + open/closed/launched/... 这类状态句。校验结果分四档:current、stale、contradicted、unsupported,并附证据时间戳。--verify-freshness 可以单独重跑,只重取被支撑的字段,不重跑整轮调研。
打不掉的那一半,仓库自己也承认。docs/search-quality-eval.md 写着:Jaccard 和 retention 是回归护栏,不是真值指标;Precision@5 和 nDCG@5 只和 judged pool 一样可靠,"不能替代更大的标注基准"。而 eval 测的是导出的结果 URL 是否落在 fixture 输入里,不是最终散文里的每一句判断是不是被这些 URL 支撑。
结论很清楚:可核验性止步于「证据项」,到不了「结论句」。最后一步的写作发生在宿主模型里,SKILL.md 能用 LAW 和自检清单约束它,但那是提示词契约,不是编译器。任何声称「每条结论都能回溯」的说法,都越过了这个项目真正做到的边界。
理由二:窗口固定的调研,不适合需要长期演进的判断
这条反对意见基本无法反驳,因为 30 天不是配置项,是产品名。
窗口的计算在 dates.py 里只有十几行:
def get_date_range(days: int = 30, as_of_date: Optional[str] = None):
normalized_as_of = parse_as_of_date(as_of_date)
if normalized_as_of:
to_date = datetime.strptime(normalized_as_of, "%Y-%m-%d").date()
else:
to_date = datetime.now(timezone.utc).date()
from_date = to_date - timedelta(days=days)
return from_date.isoformat(), to_date.isoformat()
--days 和 --as-of 只是把窗口平移或复位,改变不了「窗口有界」这个事实。你要问「这个框架三年来的架构演进路线」,它给不了;你要问「上个月社区在骂它什么」,它给得又准又狠。
仓库当然准备了记忆层,而且做得不小。store.py 建了 topics、research_runs、findings、finding_sightings、discovery_topics 五张表,外加 findings_fts 这个 FTS5 虚拟表;compute_topic_delta() 用来算同一个话题两次运行之间的增量,get_sightings_for_run() 追某个发现是在哪几次运行里出现过的。library.py 会把保存下来的简报扫成一个本地库,library search 走离线全文检索,LAST30DAYS_LIBRARY_CONTEXT 默认开启,会让新报告里出现一段 From your library 的历史上下文。
但要看清这个记忆层的性质:它记的是「你查过什么」,不是「世界发生过什么」。它是自我观测的日志,不是长周期的事实库。--corpus-all-time 看似能突破窗口,实际只对本地 .md/.txt 语料生效(PDF 还要 pdftotext 在 PATH 上),与线上平台的历史无关。
所以对这条反对意见的裁决是:成立,且是结构性的。更诚实的定位是「当期共识快照」,而不是「趋势外推器」。把它用于技术选型这种需要多年跨度的判断,等于用体温计测身高。
理由三:接入成本被教程严重低估
教程写的是一行命令:
/plugin install last30days
README 也强调「Zero config. Reddit, HN, Polymarket, and GitHub work immediately」。这句话没错,但它描述的只是能跑起来,不是能跑出质量。
先看仓库的实际体量:引擎与 lib/ 合计约 8.6 万行 Python,122 个模块,测试目录下 341 个 test_*.py、约 12.9 万行测试代码,CHANGELOG.md 里 98 个版本条目,CONFIGURATION.md 981 行,SKILL.md 里有一张 17 行的路由表指向 references/ 下的 17 份运行时文档,而那份 SKILL.md 还会要求宿主「在跑任何引擎命令之前先完整读完 references/runtime.md,做陈旧克隆自检」。这不是一个「装上就完事」的插件,这是一套有自己运行时契约的系统。
再看依赖面:Python 3.12+(pyproject.toml 硬性要求)、node、yt-dlp,以及一批需要在 PATH 上的外部 CLI:digg-pp-cli、arxiv-pp-cli、techmeme-pp-cli、yahoo-finance-pp-cli、trustpilot-pp-cli,再加上 Bright Data 的 Amazon 通道、xurl、xiaohongshu-mcp、ScrapeCreators 的 key、AUTH_TOKEN/CT0、Keychain/pass。引擎里出现的 LAST30DAYS_* 环境变量有 86 个。分发侧还有 MCP 形态:mcp/ 目录是一个 Go 二进制,把 Python 引擎以 vendored 方式嵌进去,靠 sync_contract_test.go 和 sync-engine.sh 维持两侧锁步,维护成本并不只落在用户身上。
最能说明问题的是它自己的质量评分函数。quality_nudge.py 把核心源定义为 5 个:
CORE_SOURCES = ["hn", "polymarket", "x", "youtube", "reddit"]
其中 HN、Polymarket、Reddit 恒为活跃;X 若未配置或用户明确拒绝 cookie,则从分母里剔除;YouTube 若没装 yt-dlp 就记进 core_missing。于是一个裸装、没配 X 的实例,跑完一轮的得分是 3/4,也就是 75%,并且会生成一段 nudge 文案告诉你缺什么、怎么补。这个设计本身是克制的(拒绝 cookie 不该被算成故障),但它同时也是一份自白:默认安装拿不到满分,质量是买来的。
社区侧的噪音进一步放大了成本。情报快照里那批中文教程,好几篇把这个仓库描述成「30 天技能打卡 CLI」「只提供 add/list/show 三条命令,用 Markdown 存进度」,还有人给它编出了 progress.json 和 GitHub Actions 每日提醒。这些描述和真实仓库几乎没有交集。一个连「它是什么」都还在被批量写错的项目,谈「五分钟接入」是不严肃的。
裁决:成立。文档里的「零配置」是真的,教程里的「零成本」是假的。
理由四:多数需求,其实一次手工检索就能解决
这条最刺人,而这个仓库最诚实的地方,恰恰是它把这把刀递到了反对派手里。
rerank.py 里有一组绝对门槛:
FLOOR_MIN_ENGAGEMENT = 25.0
FLOOR_MIN_SOURCES = 2
FLOOR_SINGLE_SOURCE_ENGAGEMENT = 200.0
含义是:一条只有 1 个赞的推文,无论候选池多空,都永远排不进来;想上榜,要么至少两个来源互相印证,要么单源互动量足够炸(例如一篇 1600 分的 HN 帖)。这套门槛不是给排序用的,是给拒绝排序用的。
--discover 模式下,如果所有候选都没过门槛,输出就是一句 Nothing solid this window。设计动机写在 ranked-output-confidence-floor-honest-empty-state.md 里,而且写得很不客气:曾经有一次 --discover "sports" 返回了五条各 1 个赞的单源推文,被一本正经地排成第 1 到第 5 名——「每个阶段都按设计工作,问题是结构性的:top-N 排序器在输入稀薄时,只是在拿噪音和噪音比大小」。相对排序无法表达「这里没有任何东西值得给用户看」。
综合层的 LAW 同样是这个取向:GENERAL nothing-solid floor 要求,当排序簇判定证据不足时,不许从被拒的候选里挖引语来凑内容,必须直说近期社区证据不足;如果网页补充也不够,就给一个诚实的短回答。
这说明什么?说明这个工具在大量场景下会告诉你「没什么可查的」——而这恰好是十分钟手工搜索也能得到的结论。为了让 AI 得到同一个答案,你付出了安装、配置、token 与等待。
裁决:成立,但边界清晰。一次手工检索做不到的是跨源互证和权重校准。corroboration_count、多源覆盖、按真实互动(而不是 SEO)排序,这些是单次 site:reddit.com 给不出来的东西。所以真正的分水岭不是「要不要用 AI」,而是:这个问题是否需要跨源互证,并且答案会承载决策成本。
四个理由的裁决表
| 反对意见 | 裁决 | 仓库给出的回应 | 仍然成立的部分 |
|---|---|---|---|
| 可信度无法核验 | 部分成立 | 内联引用法则、URL 禁重构、citation_grounding=1.0 构建门禁、source_status 失败态区分 |
可核验性覆盖证据项,不覆盖最终结论句 |
| 固定窗口不适合长期判断 | 成立 | SQLite 发现追踪、FTS5 简报库、--drill、--verify-freshness |
记忆层记的是自己的历史,不是世界的长历史 |
| 接入成本被低估 | 成立 | 首次运行向导、--preflight 权限预检、doctor 健康检查 |
满分质量需要五源齐备与一批外部 CLI |
| 多数需求手工检索即可 | 成立 | 绝对门槛 + 诚实空态,主动拒绝输出噪音 | 跨源互证与互动加权是手工替代不了的 |
结论:伪需求的是「无条件让 AI 去查」
把四条意见串起来看,被否定的从来不是「AI 能不能查」,而是「不设前提地让 AI 去查」。
这个仓库自己划出的适用范围其实很窄:具名实体、突发事件、产品对比、有决策成本的问题,且答案需要在多个封闭平台之间互证。README 举的例子(会前读一个人的近 30 天、销售电话前读一家公司的当月真相、旅行前读项目关闭与排队实况)全部落在这个区间里。离开这个区间,比如「这个框架适合长期演进吗」或者「帮我确认下这个报错是不是已知问题」,它的收益会迅速跌到负值,因为你还得为那 75% 的质量分补齐 X 和 YouTube。
一个可执行的判断清单,四条里中三条以上才值得开跑:
- 主题是具名的(人、公司、产品、事件),不是抽象概念;
- 答案会影响一个有成本的决定,而不是满足好奇心;
- 结论需要两个以上互相独立的来源才能站住;
- 你确实缺一个跨平台、按真实互动排序的检索入口。
四条里只中一条的时候,打开浏览器手动搜,比装一套 8.6 万行的引擎更快,也更诚实。这不是对项目的贬低:一个工具敢于在证据不足时输出「这个窗口里没有值得看的东西」,本身就比那些永远能编出五条结论的系统更值得信任。伪需求不在「让 AI 自己去查」,而在把它当成万能的第一反应。
