SkyDiscover断点续跑与检查点管理:长周期进化任务的中断恢复完整方案
SkyDiscover断点续跑与检查点管理:长周期进化任务的中断恢复完整方案
SkyDiscover 是一个 AI 驱动的科学、算法与系统发现(Scientific, Algorithmic and Systems Discovery)框架,通过 LLM 进化程序来自动求解优化问题。由于一次进化任务动辄跑几十上百轮迭代,中途断网、超时或想换模型都很常见——本文详解 SkyDiscover 的断点续跑与检查点(checkpoint)管理机制:如何用 --checkpoint 参数一键恢复中断的进化任务、checkpoint_interval 如何控制自动存档频率、检查点目录里到底保存了什么,以及优雅退出信号如何保证数据不丢失。
为什么长周期进化任务必须支持中断恢复?
SkyDiscover 的应用场景覆盖数学优化、系统性能优化、竞赛算法、多模态提示词优化等多个领域,每轮迭代都需要调用 LLM 生成新方案并运行评估器打分:
这意味着一次任务可能持续数小时甚至数天。如果没有检查点机制,一次意外中断就意味着之前所有迭代成果全部归零。SkyDiscover 的解法是:每隔 N 轮自动把整个"方案数据库"落盘一次,中断后从最近的检查点继续,已发现的优质方案、当前最优解、迭代进度全部原样保留。
检查点机制整体架构:数据库、存档与恢复三件套
在 SkyDiscover 的架构中,进化循环由 Context Builder、Solution Generator、Evaluator 和 Solution Selector 四个模块组成,其中 Solution Database(方案数据库) 就是检查点的核心载体:
检查点的读写由专门的 CheckpointManager 完成,核心逻辑见 skydiscover/search/utils/checkpoint_manager.py:
save():把数据库中所有方案、最优方案 ID、最后迭代号写入磁盘;load():从磁盘完整恢复数据库状态,供续跑使用;SafeJSONEncoder:LLM 生成的方案元数据里可能含有 numpy 数组、set 等无法直接序列化的类型,它会安全地转成 Python 原生类型再写入 JSON,避免存档失败。
数据库层的 save/load 接口定义在 skydiscover/search/base_database.py,所有搜索算法(topk、adaevolve、evox 等)共用同一套检查点实现。
一键安装检查点策略:配置 checkpoint_interval 参数
检查点频率由配置文件中的 checkpoint_interval 控制,默认每 10 轮迭代自动存档一次:
max_iterations: 100
checkpoint_interval: 10 # save checkpoint every N iterations
该参数在所有官方模板配置中都可用,例如 configs/default.yaml 和 configs/adaevolve.yaml。触发逻辑在 skydiscover/search/default_discovery_controller.py 中:每当迭代号是 checkpoint_interval 的整数倍,主循环就会回调检查点保存函数。任务正常结束或提前停止时,还会额外保存一个最终检查点,确保最后一轮成果不丢。
检查点目录长什么样?
每次运行结果输出到 outputs/<算法>/<任务名>_<时间戳>/ 目录,结构如下:
outputs/best_of_n/text_similarity_0319_1710/
├── best/
│ ├── best_program.py # 最终最优方案
│ └── best_program_info.json # 指标、代数、时间戳等
├── checkpoints/
│ └── checkpoint_5/
│ ├── programs/ # 每个方案一个 JSON 文件
│ ├── metadata.json # 最优方案ID + 最后迭代号
│ ├── best_program.py # 该轮时的最优方案快照
│ └── best_program_info.json
└── logs/
具体写入逻辑见 skydiscover/runner.py:metadata.json 记录 best_program_id 和 last_iteration,programs/ 目录下每个方案独立存储,这样续跑时能精确恢复进化状态,而不仅是"最优解"。
最快恢复步骤:--checkpoint 参数从断点继续进化
中断后恢复只需在原有命令上加一个 --checkpoint 参数,指向最近的检查点目录:
# 首次运行 100 轮(中途被中断)
uv run skydiscover-run initial_program.py evaluator/ \
-c config.yaml --search topk -i 100
# 从第 50 轮的检查点续跑,再进化 100 轮
uv run skydiscover-run initial_program.py evaluator/ \
-c config.yaml --search topk -i 100 \
--checkpoint outputs/topk/xxx/checkpoints/checkpoint_50
--checkpoint 参数的定义见 skydiscover/cli.py。恢复时的行为要点:
- 自动跳过初始程序注入:续跑时不会重复添加种子方案,日志会打印
Resuming from iteration 51 with N programs(见 skydiscover/runner.py); - 迭代号无缝衔接:新迭代从
last_iteration + 1开始,方案计数、最优解记录全部延续; - 测试集复评:任务完成时会用 test 模式重新评估最优方案,得到权威分数。
找不到最新检查点?CLI 会直接告诉你命令
每次运行结束后,SkyDiscover 会自动扫描 checkpoints/ 目录、按目录名中数字后缀找出迭代号最大的那个(如 checkpoint_10 优先于 checkpoint_2),并打印提示:
Latest checkpoint: outputs/topk/xxx/checkpoints/checkpoint_50
To resume: --checkpoint outputs/topk/xxx/checkpoints/checkpoint_50
识别逻辑见 skydiscover/cli.py 的 _find_latest_checkpoint 函数,配套测试在 tests/cli/test_checkpoint_discovery.py。所以通常你不需要手动翻目录,复制终端输出里的那行命令即可续跑。
优雅中断:Ctrl+C 两次退出且不丢数据
长时间任务最怕被误杀。SkyDiscover 在 skydiscover/runner.py 中注册了 SIGINT/SIGTERM 信号处理器:
- 第一次按 Ctrl+C:触发优雅关闭,主循环在当前迭代结束后停止,而不是立即崩溃;
- 第二次按 Ctrl+C:立即强制退出,防止"停不下来"。
配合定期存档的检查点机制,即使进程被杀,最多也只丢失最近 checkpoint_interval 轮以内的进度。
常见问题清单
| 现象 | 原因与解决 |
|---|---|
Error: Checkpoint directory '...' not found |
--checkpoint 路径写错或指向了不存在目录,检查 outputs/ 下实际路径 |
| 续跑后迭代号没有接续 | 确认传入的是 checkpoints/ 内的 checkpoint_N 目录,而不是整个输出目录 |
| 想更勤快地存档 | 在 YAML 中调小 checkpoint_interval(代价是更多磁盘写入) |
| 想换模型/算法继续 | 续跑时加 --model、--search 覆盖参数即可,数据库状态不受影响 |
| 检查点占磁盘太大 | 旧的 checkpoint_N 目录可按需保留或清理,只留最新与关键节点 |
相关文件索引
- 检查点管理器:skydiscover/search/utils/checkpoint_manager.py
- 保存/加载入口:skydiscover/runner.py
- CLI 参数与检查点发现:skydiscover/cli.py
- 参数说明文档:configs/README.md
- 含续跑示例的官方快速上手指南:docs/content/docs/getting-started/quick-start.mdx
总结
SkyDiscover 的检查点管理让"跑一晚"的长周期进化任务变得可控:checkpoint_interval 决定自动存档频率,checkpoints/checkpoint_N/ 目录完整保存方案数据库与最优解快照,--checkpoint 参数一行命令即可断点续跑,信号处理则保证中断时的优雅退出。掌握这套机制后,你可以放心地把任务交给后台长时间运行,随时从最近的检查点恢复——这正是大规模 AI 驱动科学发现得以落地的基础保障。

