什么是TTT-Discover?测试时强化学习完全指南:如何让LLM针对单一问题持续训练并刷新SOTA

原创2026-11-05 11:09:481,893 阅读

什么是TTT-Discover?测试时强化学习完全指南:如何让LLM针对单一问题持续训练并刷新SOTA

TTT-Discover 是一个开源框架,全称 Learning to Discover at Test Time——它让大语言模型(LLM)在测试时进行强化学习(Test-Time Reinforcement Learning):针对一个具体的科学或工程问题,模型不再"冻结",而是带着针对该单一问题生成的专属经验持续训练,直到刷新人类和 AI 的纪录。它在数学、GPU 内核、算法竞赛和生物信息学 4 大领域都取得了新的 SOTA(state-of-the-art)。

它解决了什么问题?

传统 LLM 的训练范式是:预训练 → 微调 → 推理。推理阶段模型是"冻住"的,哪怕你给它一道从未见过的难题,它也只能凭已有能力硬答,无法从"做题过程"中学到任何东西。

TTT-Discover 反其道而行:把"解决一个具体问题"本身变成一个强化学习过程。用 docs/intro.md 的术语来说:

  • 状态 s:一个候选解(比如一段 kernel 代码、一个数学构造)
  • 动作 a:LLM 输出的新代码(可附带推理过程)
  • 奖励 R(s):由验证器自动打分
  • 经验缓冲区 H:存储历史 (状态, 动作, 奖励) 供后续复用

训练循环只有 4 步,不断滚动:

  1. 用 PUCT 策略从缓冲区 H 中挑选一个"值得改进"的初始状态 s
  2. LLM 根据问题描述和当前状态生成动作 a
  3. 执行 a 转移到新状态 s',由奖励函数打分 r = R(s')
  4. 把新经验写回缓冲区 H,并更新模型权重 θ

也就是说:模型一边解题、一边被自己的解题经验"再训练",能力随训练步数持续爬升——这正是"测试时学习"的含义。

SOTA 成绩单:四大领域全面刷新

项目官方报告的头部结果如下(来自 README.md):

领域 任务 人类最佳 此前最佳 AI TTT-Discover
📐 数学 Erdős 最小重叠(越低越好) 0.380927 0.380924 0.380876
⚡ GPU 内核 TriMul A100 延迟(越低越好) 4531 μs — 2198 μs
⚡ GPU 内核 TriMul H100 延迟(越低越好) 1371 μs — 1161 μs
🧩 算法 AtCoder AHC39(越高越好) 566,997 558,026 567,062
🧬 生物 单细胞去噪(越高越好) 0.64 — 0.71

几个亮点:

TTT-Discover测试时强化学习刷新Erdős数学问题SOTA:三种步函数构造对比,600段函数实现最低重叠0.380876

上图:Erdős 最小重叠问题中"人类最佳(2016)→ AlphaEvolve → TTT-Discover"三代构造的对比,右图为 TTT-Discover 用 600 段函数达到的新低 0.380876。

三大核心机制:它为什么能持续变强?

1️⃣ 经验缓冲区 + PUCT 采样:不从头再来,而是站在最优解肩膀上

如果每轮都从零开始,训练效率会极低。TTT-Discover 用一个状态归档缓冲区保存所有历史候选解,并用类似 MCTS 的 PUCT 分数决定下一轮从哪里继续优化:

score(i) = Q(i) + c · scale · P(i) · √(1+T) / (1+n[i])

前半项是"这个状态已知能达到的最好成绩"(利用),后半项是"还没被探索过的状态"(探索)。实现见 ttt_discover/tinker_utils/sampler.py,每个父状态还会保留 top-k 子状态,让搜索树持续长高而不是变宽。

2️⃣ 沙箱奖励评估:代码真的跑一遍,跑不出分就归零

模型生成的不是文本而是可执行代码。SandboxRewardEvaluator 会把代码写入临时文件,通过 Ray 分发到独立进程中运行,带 CPU 亲和性和超时控制,防止死循环或资源滥用。实现位于 ttt_discover/environments/sandbox_reward_evaluator.py,接口文档见 docs/api.md。

3️⃣ 在线 RL 权重更新:LoRA + 熵自适应优势估计

默认底座是 openai/gpt-oss-120b,训练只更新 LoRA 低秩适配器(rank 32),开销远小于全量微调。每轮 rollout 后用组内"熵自适应"优势估计(entropic adaptive beta)计算每条轨迹的优势,并叠加 KL 惩罚防止策略漂移,最终通过 Adam 优化器更新权重。核心训练循环在 ttt_discover/rl/train.py,入口配置类 DiscoverConfig 在 ttt_discover/discovery.py。

快速上手:安装与一键复现

第 1 步:安装

pip install ttt-discover
# 或从源码安装
pip install -e .

第 2 步:设置环境变量(模型、训练与日志服务)

export HF_TOKEN="..."
export TINKER_API_KEY="..."
export WANDB_API_KEY="..."
export WANDB_ENTITY="..."

第 3 步:运行示例。每个领域都有现成环境,按 docs/reproducing.md 安装对应依赖后,一条命令启动:

python -m examples.circle_packing.env

复现细节(各任务 requirements、Python 版本、多节点 Slurm 提交)见 docs/reproducing.md。最终性能看 env/all/raw_score/max(或 min)在全部训练步中的最优值。

三步接入你自己的任务

TTT-Discover 的设计目标是"任何可自动打分的问题"都能接入。只需:

  1. 定义奖励类(继承 BaseRewardEvaluator 或 SandboxRewardEvaluator,实现 get_reward)
  2. 定义环境(继承 Environment,实现 get_question 拼提示词)
  3. 传入 DiscoverConfig,调用 discover(config) 开训

完整可运行的参考实现是 26 圆装箱问题 examples/circle_packing/env.py,它把"验证器源码 + 上一轮最优解 + 目标值"注入提示词,引导模型迭代改进。数学领域的接入示例在 examples/erdos_min_overlap/env.py,其余任务(AHC 算法竞赛、GPU 内核、去噪)都在 examples/ 目录下。

仓库结构速览

路径 内容
ttt_discover/ 核心包:RL 训练循环、状态采样、沙箱奖励评估
examples/ 各领域环境与启动脚本(env.py 即入口)
results/ 官方最优结果代码与数据(数学序列、kernel 代码等)
requirements/ 分任务的依赖清单
docs/ 概念介绍、API 参考、复现指南

使用注意事项 ⚠️

  • 硬件:数学与 AHC 任务对 CPU 性能敏感,官方结果均跑在 HPC 级 CPU 上,建议多核 + 多节点(通过 examples/circle_packing/submitit_launch.sh 用 Slurm 提交)
  • 安全:使用 Ray 时务必把作业放在隔离网络或 VPN 内,Ray 几乎没有内置安全防护
  • 许可:项目采用 MIT License,见 LICENSE

总结

TTT-Discover 的核心洞见只有一句话:把"解题"当作"训练",让 LLM 在测试时用针对单一问题的经验持续自我强化。PUCT 经验采样让它高效探索,沙箱验证让奖励真实可信,LoRA 在线更新让能力随步数爬升——三者合力,使其在数学、GPU 内核、算法与生物四大方向同时刷新 SOTA。如果你正面临一个"有明确打分函数、值得反复优化"的难题,这就是目前最值得尝试的测试时强化学习工具。

登录后查看全文
discover