DALI 管道检查点(Checkpointing)完整指南:保存与恢复训练数据管道状态

原创2026-10-11 22:54:50915 阅读
文章标签:深度学习数据工程

DALI 管道检查点(Checkpointing)完整指南:保存与恢复训练数据管道状态

导读

本文以 NVIDIA DALI 的官方文档 advanced_topics_checkpointing.rst 为骨架,系统讲解 DALI 检查点(Checkpointing)功能:如何保存管道(Pipeline)当前状态到文件,并在之后从检查点恢复,使新管道与旧管道产生完全一致的输出。该能力对可能被中断的长时间训练任务尤其有价值。读完本文,你将掌握 enable_checkpointing 的开启方式、Pipeline.checkpoint() 的保存与 checkpoint= 参数的恢复流程、fn.external_source 的部分支持限制,以及 TensorFlow 插件中与 tf.train.checkpoint 的集成方式,并结合仓库源码了解底层实现原理。

什么是 DALI Checkpointing

DALI 的检查点功能允许你把管道(Pipeline)的当前状态保存到一个文件中,之后从该检查点恢复管道,恢复后的新管道将产生与旧管道完全相同的输出。这对于运行时间较长、很可能被中途打断的训练任务尤其有用。

从实现上看,DALI 管道检查点包含两类关键信息(见 checkpoint.h 与文档说明):

  • 管道中所有随机数生成器(RNG)的状态:保证恢复后随机算子(如 fn.random.uniform)生成的随机序列与中断前完全一致;
  • 每个读取器(Reader)的进度:保证数据读取从中断时的 epoch 与迭代位置继续,而不是从头开始。

在 C++ 侧,这一设计体现为 Checkpoint 类——它是"整个管道级状态的聚合",通过 AddOperator(instance_name) 为每个算子注册独立的 OpCheckpoint,并用 name2id_ 映射把算子实例名与检查点条目关联起来;Checkpoint 还持有 iteration_id_(当前迭代序号)以及来自 Python 侧的 ExternalContextCheckpoint(包含 pipeline_data 与 iterator_data,见 checkpoint.h)。

关键设计要点:检查点保存的是"有状态算子"的状态。那些不维护用户可观察状态的算子(如解码器、resize、归一化等)在概念上是无状态的,不会进入检查点——这一点在 Dynamic 模式检查点文档 中有明确说明。

完整实操示例可参考官方 notebook:Pipeline checkpointing notebook;动态模式(Dynamic API)的等价流程见 Dynamic mode checkpointing。

Checkpointing API 使用详解

开启检查点:enable_checkpointing=True

要启用检查点功能,在创建管道时将 enable_checkpointing 设为 True。开启后,DALI 会跟踪每个算子的状态,以便按需保存。官方文档明确指出:开启检查点不应影响性能。

@pipeline_def(..., enable_checkpointing=True)
def pipeline():
    ...

p = pipeline()

在 Python API 中,enable_checkpointing 是 Pipeline.__init__ 的可选参数,默认值为 False(见 pipeline.py)。该参数会一路传递到 C++ 侧:

  • Python 层在 build() 时把该参数写入 PipelineParams(见 pipeline.py);
  • C++ 层在管道反序列化/构建时调用 this->EnableCheckpointing(),并在执行器构建阶段通过 executor_->EnableCheckpointing(checkpointing_enabled()) 传递给执行器(见 pipeline.cc 与 pipeline.cc);
  • 在 ProtoBuf 的 PipelineDef 消息中也保留了一个 enable_checkpointing 字段(默认 false,见 dali.proto)。

从执行器内部看,启用检查点后,Executor2 会为每次迭代的 IterationData 预先创建 Checkpoint 对象(InitIterationData 中 if (config_.checkpointing) iter_data->checkpoint = CreateCheckpoint(...),见 exec2.cc);每个算子节点执行完成后,会把自身的状态写入该迭代对应的检查点(见 exec_node_task.cc)。这就是"按需保存"能够随时取到最新状态的原因。

注意:shuffle_after_epoch=True 的读取器在启用检查点后,样本打乱的方式可能与未启用时略有不同。原因是启用检查点后,读取器必须在每个 epoch 保存一份"初始顺序"的备份,以便恢复(详见下文"读取器如何支持检查点"一节,见 file_label_loader.h)。

保存检查点:Pipeline.checkpoint()

保存检查点需要调用 Pipeline.checkpoint() 方法,它返回一个序列化后的检查点字符串(内部为序列化后的 Protobuf 消息)。也可以传入文件名作为参数,DALI 会直接把检查点写入该文件(文件内容将被覆盖)。

for _ in range(iters):
    output = p.run()

# 把检查点写入文件:
checkpoint = p.checkpoint()
open('checkpoint_file.cpt', 'wb')

# 或者更简单:
checkpoint = p.checkpoint('checkpoint_file.cpt')

从源码看,checkpoint() 的实现流程是(见 pipeline.py):

  1. 先调用 self.build()(若尚未构建),确保管道已就绪;
  2. 调用 _get_checkpoint(),通过 b.ExternalContextCheckpoint() 把 Python 侧的迭代上下文({"iter": self._consumer_iter, "epoch_idx": self._epoch_idx},JSON 序列化后放入 pipeline_data)一起打包(见 pipeline.py);
  3. 通过 self._pipe.GetSerializedCheckpoint(external_ctx_cpt) 触发 C++ 侧序列化;
  4. 若传入了 filename,则以二进制写模式("wb")把序列化结果写入文件,并返回该字符串。

在 C++ 侧,Checkpoint::SerializeToProtobuf 会遍历所有算子的 OpCheckpoint,对每个算子调用 op->SerializeCheckpoint(cpt) 取回其序列化状态,再连同 external_ctx_cpt 一起打包成 Protobuf 消息返回(见 checkpoint.cc)。序列化格式定义在 dali.proto 的 Checkpoint 消息中:每个 OpCheckpoint 包含 operator_name(算子实例名)与 operator_state(算子状态字节流)。

注意:调用 Pipeline.checkpoint() 可能会引入可观测的开销。官方建议不要过于频繁地调用它。从源码也可以看出原因:每次调用都需要遍历整张算子图、逐个算子收集并序列化状态,且 GPU 算子在保存状态时还可能涉及流同步(OpCheckpoint::SetOrder(AccessOrder) 用于保证异步保存的 GPU 状态在主机侧可见,见 op_checkpoint.h)。

从检查点恢复:checkpoint= 参数

之后可以从已保存的检查点恢复管道状态。做法是在构造 Pipeline 时传入 checkpoint 参数。恢复后的管道应当产生与原始管道完全一致的输出。

checkpoint = open('checkpoint_file.cpt', 'rb').read()
p_restored = pipeline(checkpoint=checkpoint)

在 Python API 中,checkpoint 是 Pipeline.__init__ 的另一个可选参数,默认值为 None(见 pipeline.py)。其恢复流程为:

  1. build() 过程中调用 _restore_state_from_checkpoint()(见 pipeline.py);
  2. 若 self._checkpoint is not None,则调用 C++ 侧 self._pipe.RestoreFromSerializedCheckpoint(self._checkpoint),并把 is_restored_from_checkpoint 置为 True(见 pipeline.py)。该属性可通过 Pipeline.is_restored_from_checkpoint 查询;
  3. 若传入的检查点不是合法的 JSON/Protobuf 数据,会抛出错误,提示"请确保检查点是由相同版本的 DALI 创建的"。

在 C++ 侧,Executor2::RestoreFromCheckpoint 会遍历算子图中的每个算子节点,逐个调用 n.op->RestoreState(cpt.GetOpCheckpoint(n.instance_name)) 恢复状态,并把执行器的迭代计数设为检查点中保存的 iteration_id;如果检查点中的算子状态数量多于当前图中的算子,还会抛出"检查点包含多余算子状态"的运行时错误(见 exec2.cc)。反序列化侧的对应实现是 Checkpoint::DeserializeFromProtobuf,它会按算子名逐一匹配并把状态交还给对应算子(见 checkpoint.cc)。

警告:恢复时必须保证恢复的管道与原始管道相同,即包含相同的算子、相同的参数。用不同管道创建的检查点去恢复,将导致未定义行为(undefined behavior)。源码中也能看到对应的防御逻辑:RestoreFromCheckpoint 要求检查点中的每个算子名都能在当前图中找到,找不到(或多余)都会报错(见 exec2.cc)。

算子层面的检查点接口

从算子基类看,DALI 为每个算子定义了 4 个与检查点相关的虚函数(见 operator.h):

  • SaveState(OpCheckpoint &cpt, AccessOrder order):把算子状态保存到检查点对象;
  • RestoreState(const OpCheckpoint &cpt):从检查点恢复算子状态;
  • SerializeCheckpoint(const OpCheckpoint &cpt):把算子状态序列化为字符串;
  • DeserializeCheckpoint(OpCheckpoint &cpt, const std::string &data):反序列化并填充检查点对象。

默认实现会调用 CheckpointingUnsupportedError()——即"该算子未实现检查点"。只有真正有状态、且实现了这些接口的算子(读取器、RNG 相关算子等)才参与检查点。单算子级别的测试覆盖可参考 checkpoint_test.cc,其中分别验证了 CPU-only、GPU-only、混合(Mixed)三种图结构以及序列化/反序列化往返(CheckpointTest.CPUOnly、GPUOnly、Mixed、Serialize,见 checkpoint_test.cc)。

读取器如何支持检查点(原理剖析)

读取器是检查点最主要的受益者。DALI 的读取器由 Loader(负责实际读样本)驱动,其检查点支持在 loader.h 中定义:LoaderStateSnapshot 保存了读取器在 epoch 开始时的基础状态——rng(随机数引擎)、current_epoch(当前 epoch 数)和 age(样本年龄计数)(见 loader.h)。Loader 构造时通过 options.GetArgument<bool>("checkpointing") 读取检查点开关(见 loader.h),并在 Init() 阶段就保存一份初始快照。

具体到 FileReader(基于 file_label_loader.h):

  • 启用检查点且设置了 shuffle_after_epoch 时,PrepareMetadata 会先保存一份初始文件顺序的备份 backup_file_label_entries_(见 file_label_loader.h);
  • 在每个 epoch 的 Reset 中,启用检查点时从备份顺序重新洗牌(file_label_entries_ = backup_file_label_entries_),洗牌种子由 shuffle_after_epoch_seed_ + (current_epoch_ << 32) 推导——每个 epoch 用不同种子,因此恢复后仍能保证随机分布不受影响,同时顺序可复现(见 file_label_loader.h);
  • RestoreStateImpl 只需恢复 current_epoch,其余索引状态由 loader 基类的快照机制统一处理(见 file_label_loader.h)。

这正好解释了文档中的那条注意事项:shuffle_after_epoch=True 时,启用检查点后打乱方式可能略有不同——因为"可恢复性"优先,打乱顺序的推导方式被调整了。

另外,file_reader_op.cc 中 shuffle_after_epoch 的文档还提到:使用 shuffle_after_epoch 时不能同时使用 stick_to_shard 和 random_shuffle;多 GPU 场景下所有管道实例应使用相同的 shuffle_after_epoch_seed 以保证全局一致的洗牌(见 file_reader_op.cc)。

External Source 的检查点支持(部分支持)

fn.external_source 算子仅部分支持检查点。

支持的场景:只有当 source 是单参数可调用对象(callable),且该参数为以下三者之一时,检查点才受支持:

  • 批次索引(batch index);
  • BatchInfo;
  • SampleInfo。

对于这类 source,恢复检查点后,查询会从检查点中保存的位置继续(epoch 与迭代都会对齐)。

从源码看,Python 侧 _check_checkpointing_support 的实现逻辑正是如此:只有 kind == _SourceKind.CALLABLE and has_inputs(即可调用且带参数)才算"支持检查点",否则会发出警告(见 pipeline.py)。external_source 的文档也明确注明:恢复检查点后,单参数可调用 source 的查询会从检查点保存的 epoch 和迭代继续(见 external_source.py)。其底层依靠 callback_args 中基于 current_iter/epoch_idx 的索引推导(见 external_source.py)。

不支持的场景:其他类型的 source(如无参可调用、迭代器等)不支持检查点。它们的状态不会被保存进检查点,恢复后这些 source 会从头开始。如果与"从中间恢复"的读取器搭配使用,可能导致数据错位。

官方建议:如果你需要使用检查点,推荐把 source 改写成受支持的单参数可调用形式。例如:

def my_source(sample_info: SampleInfo):
    # 依据 sample_info.idx_in_epoch / iteration 返回对应样本
    return data[sample_info.idx_in_epoch]

pipe = pipeline_def(..., enable_checkpointing=True)(...)

TensorFlow 插件中的检查点

nvidia.dali.plugin.tf.DALIDataset 与 TensorFlow 的 tf.train.checkpoint 机制深度集成——这意味着你可以用 TensorFlow 标准的检查点 API(如 tf.train.Checkpoint 手动保存/恢复)来同时保存 DALI 管道的状态与模型权重,无需额外的 DALI 专属代码路径。

在插件实现中,DALIDataset 的保存(save)与恢复(restore)钩子分别通过 C API 完成:

  • 保存时调用 daliPipelineGetCheckpoint 拿到检查点句柄,再经 daliPipelineSerializeCheckpoint 序列化,以名为 "checkpoint" 的 Tensor 写入 TensorFlow 的检查点文件(见 dali_dataset_op.cc);
  • 恢复时从检查点文件读取 "checkpoint" Tensor,经 daliPipelineDeserializeCheckpoint + daliPipelineRestoreCheckpoint 恢复到管道(见 dali_dataset_op.cc)。

重要限制(插件层面):

  1. DALIDatasetWithInputs 暂不支持检查点。其 checkCheckpointingSupport() 会直接返回 Unimplemented 错误:"Checkpointing is not supported for DALI dataset with inputs"(见 dali_dataset_op.cc);
  2. GPU 数据集暂不支持检查点。同样由 checkCheckpointingSupport() 抛出 "Checkpointing is not supported for DALI GPU dataset"(见 dali_dataset_op.cc)。

警告:使用 TensorFlow 插件时请确保满足上述两个前提(非 DALIDatasetWithInputs、非 GPU 数据集),否则会在保存/恢复阶段直接报错。

常见问题与最佳实践

1. 检查点保存多久调用一次合适? checkpoint() 有可观测的开销(需要遍历整张算子图、序列化所有算子状态),不要每轮迭代都调用。合理做法是:每隔固定的若干迭代(如每 N 个 epoch)或结合训练框架的定期保存(如 TensorFlow 的 tf.train.CheckpointManager、PyTorch 的 torch.utils.checkpoint 风格定期存盘)调用一次。

2. 恢复后的管道输出一定一致吗? 只要恢复的管道与原始管道结构、参数完全相同,且 source 是受支持的单参数 callable,恢复后的输出应当与原始管道完全一致——这正是检查点保存 RNG 状态与 reader 进度的意义。反之(管道不同、source 不支持),则可能产生未定义行为或数据错位。

3. 检查点文件是什么格式? checkpoint() 返回的是一个序列化后的 Protobuf 字符串,其中包含每个算子的状态(operator_name + operator_state)以及 Python 侧的 pipeline_data / iterator_data。请用二进制模式读写(示例中 open('checkpoint_file.cpt', 'wb') / 'rb')。

4. 启用检查点影响性能吗? 官方文档明确说明"不应有任何影响"。从实现看,启用后执行器只是为每次迭代额外维护一个 Checkpoint 对象并在算子执行后写入状态(见 exec2.cc),开销主要体现在调用 checkpoint() 主动保存的那一刻。

5. 多管道 / 多 GPU 场景 如果使用多个管道(如 base_iterator.py 中的多管道迭代器),所有管道必须设置相同的 enable_checkpointing 值,否则会抛 ValueError(见 base_iterator.py)。若部分管道从检查点恢复而部分没有,迭代器会发出警告,并可能出现意外结果(见 base_iterator.py)。

总结

DALI 的检查点功能为长时间训练任务提供了可靠的中断恢复手段:

  • 开启:pipeline_def(..., enable_checkpointing=True);
  • 保存:p.checkpoint() 或 p.checkpoint('file.cpt'),返回序列化 Protobuf 字符串;
  • 恢复:构造时传入 checkpoint=...,恢复后的管道输出与原管道完全一致;
  • 核心内容:所有 RNG 状态 + 每个读取器的进度;
  • 限制:fn.external_source 仅支持单参数 callable;TensorFlow 插件的 DALIDatasetWithInputs 与 GPU 数据集暂不支持。

结合源码可以确认:底层由执行器(Executor2)逐迭代维护检查点、每个算子通过 SaveState/RestoreState/SerializeCheckpoint/DeserializeCheckpoint 四个接口参与状态保存与恢复,最终以 Protobuf 消息整体序列化。相关实现与测试文件包括:

登录后查看全文
DALI