SkyDiscover断点续跑与检查点管理:长周期进化任务的中断恢复完整方案

原创2026-10-31 23:53:352,508 阅读

SkyDiscover断点续跑与检查点管理:长周期进化任务的中断恢复完整方案

SkyDiscover 是一个 AI 驱动的科学、算法与系统发现(Scientific, Algorithmic and Systems Discovery)框架,通过 LLM 进化程序来自动求解优化问题。由于一次进化任务动辄跑几十上百轮迭代,中途断网、超时或想换模型都很常见——本文详解 SkyDiscover 的断点续跑与检查点(checkpoint)管理机制:如何用 --checkpoint 参数一键恢复中断的进化任务、checkpoint_interval 如何控制自动存档频率、检查点目录里到底保存了什么,以及优雅退出信号如何保证数据不丢失。

为什么长周期进化任务必须支持中断恢复?

SkyDiscover 的应用场景覆盖数学优化、系统性能优化、竞赛算法、多模态提示词优化等多个领域,每轮迭代都需要调用 LLM 生成新方案并运行评估器打分:

SkyDiscover 应用基准任务分类图,涵盖数学优化、系统性能、算法与多模态任务

这意味着一次任务可能持续数小时甚至数天。如果没有检查点机制,一次意外中断就意味着之前所有迭代成果全部归零。SkyDiscover 的解法是:每隔 N 轮自动把整个"方案数据库"落盘一次,中断后从最近的检查点继续,已发现的优质方案、当前最优解、迭代进度全部原样保留。

检查点机制整体架构:数据库、存档与恢复三件套

在 SkyDiscover 的架构中,进化循环由 Context Builder、Solution Generator、Evaluator 和 Solution Selector 四个模块组成,其中 Solution Database(方案数据库) 就是检查点的核心载体:

SkyDiscover 检查点机制所在的系统架构图,展示方案数据库与进化控制循环

检查点的读写由专门的 CheckpointManager 完成,核心逻辑见 skydiscover/search/utils/checkpoint_manager.py:

  • save():把数据库中所有方案、最优方案 ID、最后迭代号写入磁盘;
  • load():从磁盘完整恢复数据库状态,供续跑使用;
  • SafeJSONEncoder:LLM 生成的方案元数据里可能含有 numpy 数组、set 等无法直接序列化的类型,它会安全地转成 Python 原生类型再写入 JSON,避免存档失败。

数据库层的 save/load 接口定义在 skydiscover/search/base_database.py,所有搜索算法(topk、adaevolve、evox 等)共用同一套检查点实现。

一键安装检查点策略:配置 checkpoint_interval 参数

检查点频率由配置文件中的 checkpoint_interval 控制,默认每 10 轮迭代自动存档一次:

max_iterations: 100
checkpoint_interval: 10    # save checkpoint every N iterations

该参数在所有官方模板配置中都可用,例如 configs/default.yaml 和 configs/adaevolve.yaml。触发逻辑在 skydiscover/search/default_discovery_controller.py 中:每当迭代号是 checkpoint_interval 的整数倍,主循环就会回调检查点保存函数。任务正常结束或提前停止时,还会额外保存一个最终检查点,确保最后一轮成果不丢。

检查点目录长什么样?

每次运行结果输出到 outputs/<算法>/<任务名>_<时间戳>/ 目录,结构如下:

outputs/best_of_n/text_similarity_0319_1710/
├── best/
│   ├── best_program.py              # 最终最优方案
│   └── best_program_info.json        # 指标、代数、时间戳等
├── checkpoints/
│   └── checkpoint_5/
│       ├── programs/                # 每个方案一个 JSON 文件
│       ├── metadata.json            # 最优方案ID + 最后迭代号
│       ├── best_program.py          # 该轮时的最优方案快照
│       └── best_program_info.json
└── logs/

具体写入逻辑见 skydiscover/runner.py:metadata.json 记录 best_program_id 和 last_iteration,programs/ 目录下每个方案独立存储,这样续跑时能精确恢复进化状态,而不仅是"最优解"。

最快恢复步骤:--checkpoint 参数从断点继续进化

中断后恢复只需在原有命令上加一个 --checkpoint 参数,指向最近的检查点目录:

# 首次运行 100 轮(中途被中断)
uv run skydiscover-run initial_program.py evaluator/ \
  -c config.yaml --search topk -i 100

# 从第 50 轮的检查点续跑,再进化 100 轮
uv run skydiscover-run initial_program.py evaluator/ \
  -c config.yaml --search topk -i 100 \
  --checkpoint outputs/topk/xxx/checkpoints/checkpoint_50

--checkpoint 参数的定义见 skydiscover/cli.py。恢复时的行为要点:

  1. 自动跳过初始程序注入:续跑时不会重复添加种子方案,日志会打印 Resuming from iteration 51 with N programs(见 skydiscover/runner.py);
  2. 迭代号无缝衔接:新迭代从 last_iteration + 1 开始,方案计数、最优解记录全部延续;
  3. 测试集复评:任务完成时会用 test 模式重新评估最优方案,得到权威分数。

找不到最新检查点?CLI 会直接告诉你命令

每次运行结束后,SkyDiscover 会自动扫描 checkpoints/ 目录、按目录名中数字后缀找出迭代号最大的那个(如 checkpoint_10 优先于 checkpoint_2),并打印提示:

Latest checkpoint: outputs/topk/xxx/checkpoints/checkpoint_50
To resume: --checkpoint outputs/topk/xxx/checkpoints/checkpoint_50

识别逻辑见 skydiscover/cli.py 的 _find_latest_checkpoint 函数,配套测试在 tests/cli/test_checkpoint_discovery.py。所以通常你不需要手动翻目录,复制终端输出里的那行命令即可续跑。

优雅中断:Ctrl+C 两次退出且不丢数据

长时间任务最怕被误杀。SkyDiscover 在 skydiscover/runner.py 中注册了 SIGINT/SIGTERM 信号处理器:

  • 第一次按 Ctrl+C:触发优雅关闭,主循环在当前迭代结束后停止,而不是立即崩溃;
  • 第二次按 Ctrl+C:立即强制退出,防止"停不下来"。

配合定期存档的检查点机制,即使进程被杀,最多也只丢失最近 checkpoint_interval 轮以内的进度。

常见问题清单

现象 原因与解决
Error: Checkpoint directory '...' not found --checkpoint 路径写错或指向了不存在目录,检查 outputs/ 下实际路径
续跑后迭代号没有接续 确认传入的是 checkpoints/ 内的 checkpoint_N 目录,而不是整个输出目录
想更勤快地存档 在 YAML 中调小 checkpoint_interval(代价是更多磁盘写入)
想换模型/算法继续 续跑时加 --model、--search 覆盖参数即可,数据库状态不受影响
检查点占磁盘太大 旧的 checkpoint_N 目录可按需保留或清理,只留最新与关键节点

相关文件索引

总结

SkyDiscover 的检查点管理让"跑一晚"的长周期进化任务变得可控:checkpoint_interval 决定自动存档频率,checkpoints/checkpoint_N/ 目录完整保存方案数据库与最优解快照,--checkpoint 参数一行命令即可断点续跑,信号处理则保证中断时的优雅退出。掌握这套机制后,你可以放心地把任务交给后台长时间运行,随时从最近的检查点恢复——这正是大规模 AI 驱动科学发现得以落地的基础保障。

登录后查看全文
skydiscover