预测系统失效怎么办?trump-code断路器机制与反向学习设计解析

原创2026-10-27 11:47:051,940 阅读

预测系统失效怎么办?trump-code断路器机制与反向学习设计解析

trump-code 是一个开源的 AI 股票预测系统,通过解读川普在 Truth Social 上的推文来预测美股走势。任何预测系统都会"失灵"——模式改变、信号失效、连续踩错。这个项目没有假装没问题,而是内置了一套断路器机制(Circuit Breaker):自动检测系统是否还在学真东西,连续错误太多时自动停机,甚至把"一直做错的信号"反转为"反向指标"来用。本文将用大白话拆解这套"预测系统失效怎么办"的完整设计。

trump-code AI股票预测系统与断路器机制概览

什么是预测系统失效?

想象一个命中率 61.3% 的预测系统(项目实测整体命中率)。某天你发现最近 14 笔预测只对了 7 笔——是系统坏了?还是川普的发帖模式变了?还是只是运气不好?

trump-code 的做法不是"猜",而是用统计检验回答这个问题。核心代码在 circuit_breaker.py,它的文件开头写得非常直白:

「如果我們全部都想錯了,怎麼辦?這個模組就是保險——自動偵測『整個系統壞了』的情況。」

在 README.md 的系统架构图里,断路器是"三大脑(Three Brains)"之一,与 Opus 深度分析、规则进化器并列,定位就是:系统在恶化时喊停。

断路器三道防线:如何判断系统失效

断路器每次运行时依次执行三道检查,任何一道亮红灯都会触发对应动作。

第一道:我们真的比抛硬币好吗?

这是最底层的 sanity check:把系统命中率跟"随机 50%"做统计显著性检验(简化版 z-test)。

结果 判定
与 50% 无显著差异(z ≤ 1.96) 🔴 WARNING:可能在学噪音
显著但优势 < 5% 🟡 MARGINAL:谨慎使用
显著且优势 ≥ 5% ✅ OK:有真正预测能力

关键细节是样本量门槛:至少 20 笔已验证预测才参与比较,避免"对了 3 次就说自己很强"的小样本幻觉。相关参数定义在 circuit_breaker.py#L50-L65。

第二道:最近有没有在恶化?

这道防线专治"整体还行、但最近失灵":

  • 对比最近 14 笔与历史全部的命中率
  • 下滑超过 10% → 🔴 DEGRADING(模式可能已改变)
  • 下滑 5%~10% → 🟡 DECLINING(持续观察)

项目里就有一次真实记录:data/circuit_breaker_state.json 显示 2026-03-15 检查时,整体命中率 61.3%,但最近 14 笔只有 50%,判定为 🟡 DEGRADING,建议动作是"减少部位(仓位)"。

第三道:连错 8 次 → 自动停机

连续错误是最刺眼的信号:

  • 连错 ≥ 7 次:进入 🟡 CONSIDER_INVERSE 状态,提示"也许我们的信号是反指标"
  • 连错 ≥ 8 次:触发 🔴 CIRCUIT_BREAK,系统自动暂停预测 24 小时,并通知人工介入排查——是模式变了?还是代码有 bug?

其他模块(如实时预测循环)通过 circuit_breaker.py#L523-L538 暴露的 is_system_paused() 和 get_system_status() 两个接口查询状态,一旦断路器拍板停机,全站预测随之停摆。

反向学习:70% 的错误率,就是 70% 的反向命中率

断路器的"第四道"最有意思:从错误中学习(Elimination Learning)。

它的哲学写在代码注释里:

「錯誤不是失敗,是排除法。排除夠多,剩下的就是答案。」

具体分两步:

步骤一:找出"反指标"

learn_from_failures() 会分析所有被验证为错误的预测:

  1. 按模型统计:某个模型错误率 > 55%(且样本 ≥ 8)→ 标记为反指标
  2. 按信号组合统计:如 TARIFF→SHORT(关税信号 → 做空)这种组合,错误率 > 55%(样本 ≥ 5)→ 标记为无效组合

真实数据中,2026-03-15 的那次检查发现了 3 个无效组合,其中 TARIFF→SHORT 错误率高达 70%。

步骤二:自动生成反向规则

更妙的是 create_inverse_rules() 的"自动翻转"逻辑:错误率 ≥ 60% 的组合会被直接反向成新规则,写回 data/surviving_rules.json。

用项目自己的例子:TARIFF→SHORT 错 70% → 翻成 TARIFF→LONG,预期命中率 70%。新规则带 INVERSE_ 前缀、标记来源为 inverse_from_failure,权重 1.2(比平均规则更信任,因为是被"错误验证"过的)。

这也是项目 README.md 里"深夜关税推文 = 反指标(62% 错 → 反向 62% 对,自动反转)"这个结论的来龙去脉。

断路器状态怎么看?

每次检查后,断路器会把结果落盘成两个文件,方便人工复盘:

文件 内容
data/circuit_breaker_state.json 最新一次完整检查:四道防线结果、是否停机、是否建议反向
data/circuit_breaker_log.json 历史检查记录(保留最近 90 天),可追踪系统健康趋势

综合判定优先级也很清晰:连错停机 > 整体不如随机 > 建议反向 > 性能恶化 > 正常运作。系统状态最终体现为 🔴 PAUSED、🔴 QUESTIONABLE、🟡 INVERSE_MODE、🟡 DEGRADING 或 ✅ OPERATIONAL 五档之一。

在整个流程中的位置

根据 docs/README.zh.md 描述,断路器位于每日 11 步流水线(Daily Pipeline)的"验证"环节之后——每天先验证昨日预测对错,再跑断路器体检,然后才是预测市场核对、规则学习和进化。也就是说:系统每天先给自己"验尸",再决定明天能不能继续预测。

给新手的设计启示

trump-code 的断路器机制给所有做预测/自动化系统的人上了三课:

  1. 先问"我是不是在学噪音"——与随机基线做显著性检验,是一切预测系统的地基
  2. 给系统装"急停按钮"——连续错误触发自动停机 + 人工介入,比"一直亏一直跑"健康得多
  3. 错误不是废物——系统性持续做错的信号,反向之后往往就是新的 alpha

想深入源码的读者,可以从 circuit_breaker.py 全文(约 540 行、注释极其友好)入手,再配合 data/circuit_breaker_state.json 的真实输出一边看一边对照,理解这套"失效自保 + 反向学习"的完整闭环。

登录后查看全文
trump-code