什么是TTT-Discover?测试时强化学习完全指南:如何让LLM针对单一问题持续训练并刷新SOTA
什么是TTT-Discover?测试时强化学习完全指南:如何让LLM针对单一问题持续训练并刷新SOTA
TTT-Discover 是一个开源框架,全称 Learning to Discover at Test Time——它让大语言模型(LLM)在测试时进行强化学习(Test-Time Reinforcement Learning):针对一个具体的科学或工程问题,模型不再"冻结",而是带着针对该单一问题生成的专属经验持续训练,直到刷新人类和 AI 的纪录。它在数学、GPU 内核、算法竞赛和生物信息学 4 大领域都取得了新的 SOTA(state-of-the-art)。
它解决了什么问题?
传统 LLM 的训练范式是:预训练 → 微调 → 推理。推理阶段模型是"冻住"的,哪怕你给它一道从未见过的难题,它也只能凭已有能力硬答,无法从"做题过程"中学到任何东西。
TTT-Discover 反其道而行:把"解决一个具体问题"本身变成一个强化学习过程。用 docs/intro.md 的术语来说:
- 状态 s:一个候选解(比如一段 kernel 代码、一个数学构造)
- 动作 a:LLM 输出的新代码(可附带推理过程)
- 奖励 R(s):由验证器自动打分
- 经验缓冲区 H:存储历史 (状态, 动作, 奖励) 供后续复用
训练循环只有 4 步,不断滚动:
- 用 PUCT 策略从缓冲区 H 中挑选一个"值得改进"的初始状态 s
- LLM 根据问题描述和当前状态生成动作 a
- 执行 a 转移到新状态 s',由奖励函数打分 r = R(s')
- 把新经验写回缓冲区 H,并更新模型权重 θ
也就是说:模型一边解题、一边被自己的解题经验"再训练",能力随训练步数持续爬升——这正是"测试时学习"的含义。
SOTA 成绩单:四大领域全面刷新
项目官方报告的头部结果如下(来自 README.md):
| 领域 | 任务 | 人类最佳 | 此前最佳 AI | TTT-Discover |
|---|---|---|---|---|
| 📐 数学 | Erdős 最小重叠(越低越好) | 0.380927 | 0.380924 | 0.380876 |
| ⚡ GPU 内核 | TriMul A100 延迟(越低越好) | 4531 μs | — | 2198 μs |
| ⚡ GPU 内核 | TriMul H100 延迟(越低越好) | 1371 μs | — | 1161 μs |
| 🧩 算法 | AtCoder AHC39(越高越好) | 566,997 | 558,026 | 567,062 |
| 🧬 生物 | 单细胞去噪(越高越好) | 0.64 | — | 0.71 |
几个亮点:
- 数学:在 Erdős 未解决问题上刷新了保持多年的人类纪录,最优序列保存在 results/mathematics/ttt_erdos_sequence.json
- GPU 内核:三角形矩阵乘法(TriMul)在 A100 上比人类最佳快了一倍多,代码见 results/kernel-engineering/trimul.py
- 算法:AtCoder 启发式竞赛得分超过人类冠军和此前最强 AI
上图:Erdős 最小重叠问题中"人类最佳(2016)→ AlphaEvolve → TTT-Discover"三代构造的对比,右图为 TTT-Discover 用 600 段函数达到的新低 0.380876。
三大核心机制:它为什么能持续变强?
1️⃣ 经验缓冲区 + PUCT 采样:不从头再来,而是站在最优解肩膀上
如果每轮都从零开始,训练效率会极低。TTT-Discover 用一个状态归档缓冲区保存所有历史候选解,并用类似 MCTS 的 PUCT 分数决定下一轮从哪里继续优化:
score(i) = Q(i) + c · scale · P(i) · √(1+T) / (1+n[i])
前半项是"这个状态已知能达到的最好成绩"(利用),后半项是"还没被探索过的状态"(探索)。实现见 ttt_discover/tinker_utils/sampler.py,每个父状态还会保留 top-k 子状态,让搜索树持续长高而不是变宽。
2️⃣ 沙箱奖励评估:代码真的跑一遍,跑不出分就归零
模型生成的不是文本而是可执行代码。SandboxRewardEvaluator 会把代码写入临时文件,通过 Ray 分发到独立进程中运行,带 CPU 亲和性和超时控制,防止死循环或资源滥用。实现位于 ttt_discover/environments/sandbox_reward_evaluator.py,接口文档见 docs/api.md。
3️⃣ 在线 RL 权重更新:LoRA + 熵自适应优势估计
默认底座是 openai/gpt-oss-120b,训练只更新 LoRA 低秩适配器(rank 32),开销远小于全量微调。每轮 rollout 后用组内"熵自适应"优势估计(entropic adaptive beta)计算每条轨迹的优势,并叠加 KL 惩罚防止策略漂移,最终通过 Adam 优化器更新权重。核心训练循环在 ttt_discover/rl/train.py,入口配置类 DiscoverConfig 在 ttt_discover/discovery.py。
快速上手:安装与一键复现
第 1 步:安装
pip install ttt-discover
# 或从源码安装
pip install -e .
第 2 步:设置环境变量(模型、训练与日志服务)
export HF_TOKEN="..."
export TINKER_API_KEY="..."
export WANDB_API_KEY="..."
export WANDB_ENTITY="..."
第 3 步:运行示例。每个领域都有现成环境,按 docs/reproducing.md 安装对应依赖后,一条命令启动:
python -m examples.circle_packing.env
复现细节(各任务 requirements、Python 版本、多节点 Slurm 提交)见 docs/reproducing.md。最终性能看 env/all/raw_score/max(或 min)在全部训练步中的最优值。
三步接入你自己的任务
TTT-Discover 的设计目标是"任何可自动打分的问题"都能接入。只需:
- 定义奖励类(继承
BaseRewardEvaluator或SandboxRewardEvaluator,实现get_reward) - 定义环境(继承
Environment,实现get_question拼提示词) - 传入
DiscoverConfig,调用discover(config)开训
完整可运行的参考实现是 26 圆装箱问题 examples/circle_packing/env.py,它把"验证器源码 + 上一轮最优解 + 目标值"注入提示词,引导模型迭代改进。数学领域的接入示例在 examples/erdos_min_overlap/env.py,其余任务(AHC 算法竞赛、GPU 内核、去噪)都在 examples/ 目录下。
仓库结构速览
| 路径 | 内容 |
|---|---|
| ttt_discover/ | 核心包:RL 训练循环、状态采样、沙箱奖励评估 |
| examples/ | 各领域环境与启动脚本(env.py 即入口) |
| results/ | 官方最优结果代码与数据(数学序列、kernel 代码等) |
| requirements/ | 分任务的依赖清单 |
| docs/ | 概念介绍、API 参考、复现指南 |
使用注意事项 ⚠️
- 硬件:数学与 AHC 任务对 CPU 性能敏感,官方结果均跑在 HPC 级 CPU 上,建议多核 + 多节点(通过 examples/circle_packing/submitit_launch.sh 用 Slurm 提交)
- 安全:使用 Ray 时务必把作业放在隔离网络或 VPN 内,Ray 几乎没有内置安全防护
- 许可:项目采用 MIT License,见 LICENSE
总结
TTT-Discover 的核心洞见只有一句话:把"解题"当作"训练",让 LLM 在测试时用针对单一问题的经验持续自我强化。PUCT 经验采样让它高效探索,沙箱验证让奖励真实可信,LoRA 在线更新让能力随步数爬升——三者合力,使其在数学、GPU 内核、算法与生物四大方向同时刷新 SOTA。如果你正面临一个"有明确打分函数、值得反复优化"的难题,这就是目前最值得尝试的测试时强化学习工具。
