PILOT的BaseLearner源码详解:增量学习中的示例(Exemplar)是如何逐类选取与管理的?
PILOT的BaseLearner源码详解:增量学习中的示例(Exemplar)是如何逐类选取与管理的?
📌 概要:PILOT 是一个基于预训练模型的持续学习(Continual Learning)工具箱,其核心基类 BaseLearner 统一实现了增量学习中"示例(Exemplar)"的存储、逐类选取与记忆管理。本文带你逐行读懂 build_rehearsal_memory 背后的三条代码路径:旧类压缩、贪心选取新类示例、以及固定记忆模式下的统一重构。
在类增量学习(Class-Incremental Learning, CIIL)中,模型每学会一批新类,就可能"忘掉"旧类。经典的缓解手段是重放记忆(Rehearsal Memory):为每个类只保留少量有代表性的样本(即 Exemplar),与新类数据一起混合训练。PILOT 在 models/base.py 的 BaseLearner 中把这套逻辑做成了所有算法共享的基础设施——iCaRL、DER、FOSTER、MEMO 等 10 多个方法都直接复用它。
为什么需要 Exemplar:遗忘问题的直观体现
上图为 PILOT 在 CIFAR-100(10 类增量)上的复现结果:Finetune 等无记忆方法随类数增加准确率持续下滑,而 MEMO、FOSTER、DER 这类带 Exemplar 重放的方法曲线明显更平缓。这说明**"存哪些样本、每类存几个"直接决定了抗遗忘能力**,而 PILOT 正是把这个决策统一交给了 BaseLearner。
BaseLearner 的内存管理:三个关键参数
BaseLearner 在构造时从配置文件读取三个参数(models/base.py#L23-L25):
| 参数 | 含义 | 典型取值示例 |
|---|---|---|
memory_size |
记忆池总容量 | MEMO 中为 2000(exps/memo.json) |
memory_per_class |
每类固定保留数 | 20 |
fixed_memory |
是否固定每类配额 | true / false |
由此派生出核心的 samples_per_class 属性(models/base.py#L37-L44):
- 默认模式:
memory_size // total_classes,即"总预算除以已见类数"——类越多,每类分到的名额越少,这正是 iCaRL 式的动态预算策略; - fixed_memory 模式:直接返回
memory_per_class,每类名额恒定。
另外两个成员变量 _data_memory / _targets_memory(models/base.py#L20)就是 Exemplar 的实际存储:前者存原始图像数组,后者存对应的标签数组。
构建入口:build_rehearsal_memory 的两条路径
每个任务训练结束后,算法会调用入口函数(models/base.py#L52-L58):
fixed_memory == false:先_reduce_exemplar压缩旧类,再_construct_exemplar为新类选取示例;fixed_memory == true:走_construct_exemplar_unified,对所有类统一重新核算类均值。
下面逐一拆解。
_reduce_exemplar:旧类记忆池的压缩
当类数增加后,每类配额变小(例如从 100 降到 50),旧类里超出配额的 Exemplar 必须丢弃。_reduce_exemplar(models/base.py#L200-L234)的做法很直接:
- 把现有
_data_memory深拷贝为临时数组,再清空正式记忆池; - 遍历所有已知类,每类只取前 m 个样本放回记忆池;
- 顺带用训练好的网络提取特征、归一化后求均值,写回
_class_means(类均值)。
💡 注意它是"截断式"压缩而非重新挑选,简单高效;这也意味着先选入的记忆更"保值"。
_construct_exemplar:贪心"贴近类中心"选取
这是整个 Exemplar 管理最精髓的部分(models/base.py#L236-L305)。对新类中的每个类:
- 取出该类全部训练样本,经
extract_vector提取特征并逐列归一化; - 计算类均值向量
class_mean(全体特征的平均); - 循环 m 次做贪心选择:
- 设已选示例向量之和为
S,则候选示例i加入后的新均值为mu_p = (vectors + S) / k; - 选出使
‖class_mean − mu_p‖最小的样本,追加进记忆池; - 立刻从候选中删除该样本,防止重复选取。
- 设已选示例向量之和为
for k in range(1, m + 1):
S = np.sum(exemplar_vectors, axis=0)
mu_p = (vectors + S) / k
i = np.argmin(np.sqrt(np.sum((class_mean - mu_p) ** 2, axis=1)))
# 选中的样本加入 _data_memory,并从候选中删除
🧠 直觉理解:这不是随机抽样,而是让"已选子集的平均特征"逐步逼近"全体样本的特征中心"。选出来的 m 个样本在特征空间中是对该类最有代表性的一组,而非最典型或最难的样本。选完后同样计算归一化均值存入 _class_means。
_construct_exemplar_unified:fixed_memory 下的全量重算
当 fixed_memory=true 时,每类配额固定,无需压缩旧类,但网络权重变了(新任务训练后),旧类示例的特征也"过时"了。_construct_exemplar_unified(models/base.py#L307-L404)因此:
- 先用当前网络重新计算所有旧类的
_class_means; - 再用与上面完全相同的贪心算法为新类选取示例;
- 最后把新旧均值一次性写入新的
_class_means矩阵。
这样保证类均值始终与最新网络状态一致,避免"旧特征、新模型"错配。
_class_means 的另一重身份:NME 评测
你可能好奇 _class_means 为什么被如此认真地维护——因为它同时服务于 NME(Nearest Mean of Embeddings)评测。eval_task 会先跑 CNN 分类头评测,再调用 _eval_nme(models/base.py#L115-L177):把测试样本特征归一化后,与各类均值算欧氏距离,取最近类作为预测。日志中打印的 NME: {...} 指标就来自这里。也就是说,Exemplar 选取时算出的类均值,本身就是最朴素线性探测器的全部参数,一举两得。
不同方法如何复用这套机制
build_rehearsal_memory 被 models/der.py#L66、models/dgr.py#L60、models/icarl.py#L56、models/coil.py#L142、models/foster.py#L88、models/memo.py#L86 等直接继承调用,差异只在参数与后续用法:
- MEMO 重写了
_construct_exemplar(models/memo.py#L263),改为把"类均值特征"作为记忆项本身,而非原始图像; - L2P、MOS 等 Prompt 方法则把 exps/l2p.json 中的
memory_size设为 0,完全不做 Exemplar 存储——PILOT 通过同一基类优雅兼容了"有记忆"与"无记忆"两类算法。
上图是 PILOT 在 ImageNet-R 大模型增量任务上的整体对比,带 Exemplar 的方法(MEMO、FOSTER 等)在类数逼近 200 时仍保持更高准确率,侧面验证了 BaseLearner 中这套"预算分配 + 贪心选样"机制的实际价值。
总结:三句话记住 Exemplar 管理逻辑
- 预算分配:
samples_per_class决定每类名额,默认随类数增长而摊薄; - 贪心选样:让已选示例的特征均值逐步逼近全类特征中心,并删除已选样本避免重复;
- 均值复用:
_class_means既是选取的依据,也是 NME 评测的模型,选取与评估闭环共享。
想动手验证?修改 exps/memo.json 中的 memory_size 后运行 python main.py --config exps/memo.json,即可观察不同预算下抗遗忘能力的变化。更多方法配置可浏览 exps/ 目录,主训练流程见 trainer.py。

