30u30 Day 20|Relational RNNs:循环单元内部的多头注意力记忆核心
30u30 Day 20|Relational RNNs:循环单元内部的多头注意力记忆核心
在 30u30 项目的第 20 天,我们精读 Relational RNNs(关系循环神经网络)这篇论文。它回答了一个关键问题:如何让 RNN 在固定大小的记忆里持续进行关系推理?论文提出的 Relational Memory Core(RMC,关系记忆核心),把多头自注意力"塞进"循环单元内部——记忆不再是单个向量,而是一群会"互相对话"的记忆槽。这一页带你零公式压力地理解 RMC 的架构、实验与动手教程。
为什么标准 RNN 会"关系性失忆"?
想象 LSTM 在听一个长故事:它只有一页笔记本(隐藏状态),每步写下新信息、划掉旧信息。如果第 1 页的细节要和第 50 页联动,它只能祈祷这个细节被逐页复制了 49 次。
论文把这种缺陷称为 compartmentalized memory(分隔式记忆):标准记忆单元把所有历史压进一个稠密向量,信息之间从不显式"对话",于是模型很难回答类似"t=5 时看到的红球,和 t=100 时的是同一个吗"这类跨时间的关系问题。
RMC 的解法很直观——把记忆想象成一场鸡尾酒会:
- 记忆槽 A 说:"我存的是颜色:红色"
- 记忆槽 B 说:"我存的是形状:方形"
- 两者通过注意力"交谈"后意识到:"哦,我们要找的是红色方形!"
每个时间步,记忆槽先开会再更新,模型就在持续推理新旧信息之间的关系。这个类比出自项目的 paper_notes.md,非常形象。
RMC 架构拆解:记忆槽"开会"的 3 个步骤
RMC 的每一步更新只做三件事(完整实现在 implementation.py 的 RelationalMemory 类中):
- 输入投影与拼接:当前输入 投影后拼接到每个记忆槽,形成增强记忆
[M_{t-1}; x_t]; - 多头自注意力(MHDPA):所有记忆槽互为 Query/Key/Value 做一次 self-attention——这就是"团队会议"环节;
- LSTM 式门控更新:用输入门和遗忘门把"注意力后的记忆"与"旧记忆"混合,得到新的记忆矩阵 。
和 Transformer 的本质区别:Transformer 的注意力作用于全部历史输入(成本高),而 RMC 的注意力作用于固定数量的记忆槽(成本恒定)。用项目 CHEATSHEET.md 的话说:RMC 把 O(N²) 的注意力交互装进了 O(1) 大小的记忆里。
关键超参数速查(来自 CHEATSHEET.md):
| 参数 | 典型取值 | 作用 |
|---|---|---|
num_slots |
4-16 | 记忆槽数量,越多可追踪的对象越多,但越慢 |
slot_size |
32-128 | 每个槽的向量维度 |
num_heads |
4-8 | 注意力头数,让槽位并行关注不同类型的信息 |
| 遗忘门偏置 | 1.0 | 务必初始化,帮助保留长期依赖 |
N-th Farthest 实验:RMC 与 LSTM 的训练对比
论文设计的 "N-th Farthest" 合成任务是标准 LSTM 的"克星":模型必须记住序列中第 N 个向量,并把它与后续所有向量比较。LSTM 会在时间流逝中把"被持有的向量"冲淡,而 RMC 可以稳定保持。
在 train_minimal.py 中跑一次双模型对照实验:
cd papers/20_Relational_RNNs
python train_minimal.py --model both --save_plot
RMC 仅约 14k 参数,LSTM 约 22k 参数——更少的参数、更强的关系推理能力。下图是两者在 N-th Farthest 任务上的训练损失曲线对比:
除了合成任务,RMC 在 WikiText-103 语言建模上以更少参数达到 LSTM 级别的表现,在 Mini PacMan 强化学习任务上也胜过标准智能体。
可视化 RMC 的"思考过程"
想亲眼看看记忆槽之间如何"交谈"?运行:
python train_minimal.py --model rmc --visualize
它会生成自注意力热力图,展示每个时间步各记忆槽对彼此的关注权重——这正是 RMC 的"思维链"。
动手练习:5 步手写 RMC
项目的 exercises/ 目录提供了从零搭建 RMC 的完整路径,难度循序渐进:
| # | 练习 | 你会掌握 |
|---|---|---|
| 1 | Dot Product Attention | 手写缩放点积注意力(20 min) |
| 2 | LSTM Gating | 实现遗忘门/输入门/候选门(30 min) |
| 3 | RMC Step | 拼装注意力+门控的单步更新(40 min) |
| 4 | N-th Farthest Task | 编写基准任务的数据生成器(20 min) |
| 5 | Training Loop | 完整训练循环,看损失下降(60 min) |
参考答案在 exercises/solutions/,建议先自己卡住再偷看。交互式演示可以看 notebook.ipynb。
RMC 选型参考:LSTM vs Transformer vs RMC
| 维度 | LSTM | Transformer | Relational RNN (RMC) |
|---|---|---|---|
| 记忆形式 | 单个向量 | 全部历史 | 一组向量(记忆槽) |
| 推理方式 | 隐式(门控) | 显式(注意力) | 显式(注意力) |
| 计算成本 | O(Seq) | O(Seq²) | O(Seq × Slots²) |
| 最适合 | 短/中序列 | 并行/离线处理 | 长序列在线推理 |
核心要点回顾
- 记忆即交互:记忆不只是存储,更是"新信息与旧信息建立联系"的过程;
- 注意力进循环:把注意力放进循环单元内部,就能在不保留无限历史的前提下获得更好的推理能力;
- 结构化状态:把状态拆成"槽位",帮助模型组织信息(对象 A 在槽 1,对象 B 在槽 2)。
从更宏观的视角看,RMC 是 RNN 与 Transformer 之间的"缺失环节":状态是固定大小的矩阵,更新方式是注意力——这种思想如今在 Linear Attention、Mamba/S4 等状态空间模型中持续回响。
相关资料
| 文件 | 说明 |
|---|---|
| papers/20_Relational_RNNs/README.md | 本 Day 完整导读 |
| papers/20_Relational_RNNs/paper_notes.md | 论文详细笔记与"鸡尾酒会"类比 |
| papers/20_Relational_RNNs/implementation.py | 完整 RelationalMemory 类实现 |
| papers/20_Relational_RNNs/CHEATSHEET.md | 30 秒速览 + 超参数与常见报错 |
| papers/20_Relational_RNNs/train_minimal.py | N-th Farthest 训练与对比脚本 |
| papers/20_Relational_RNNs/exercises/ | 5 个阶梯式动手练习 |
