30u30 Day 20|Relational RNNs:循环单元内部的多头注意力记忆核心

原创2026-10-20 12:27:531,969 阅读

30u30 Day 20|Relational RNNs:循环单元内部的多头注意力记忆核心

在 30u30 项目的第 20 天,我们精读 Relational RNNs(关系循环神经网络)这篇论文。它回答了一个关键问题:如何让 RNN 在固定大小的记忆里持续进行关系推理?论文提出的 Relational Memory Core(RMC,关系记忆核心),把多头自注意力"塞进"循环单元内部——记忆不再是单个向量,而是一群会"互相对话"的记忆槽。这一页带你零公式压力地理解 RMC 的架构、实验与动手教程。

为什么标准 RNN 会"关系性失忆"?

想象 LSTM 在听一个长故事:它只有一页笔记本(隐藏状态),每步写下新信息、划掉旧信息。如果第 1 页的细节要和第 50 页联动,它只能祈祷这个细节被逐页复制了 49 次。

论文把这种缺陷称为 compartmentalized memory(分隔式记忆):标准记忆单元把所有历史压进一个稠密向量,信息之间从不显式"对话",于是模型很难回答类似"t=5 时看到的红球,和 t=100 时的是同一个吗"这类跨时间的关系问题。

RMC 的解法很直观——把记忆想象成一场鸡尾酒会:

  • 记忆槽 A 说:"我存的是颜色:红色"
  • 记忆槽 B 说:"我存的是形状:方形"
  • 两者通过注意力"交谈"后意识到:"哦,我们要找的是红色方形!"

每个时间步,记忆槽先开会再更新,模型就在持续推理新旧信息之间的关系。这个类比出自项目的 paper_notes.md,非常形象。

RMC 架构拆解:记忆槽"开会"的 3 个步骤

RMC 的每一步更新只做三件事(完整实现在 implementation.py 的 RelationalMemory 类中):

  1. 输入投影与拼接:当前输入 xtx_t 投影后拼接到每个记忆槽,形成增强记忆 [M_{t-1}; x_t];
  2. 多头自注意力(MHDPA):所有记忆槽互为 Query/Key/Value 做一次 self-attention——这就是"团队会议"环节;
  3. LSTM 式门控更新:用输入门和遗忘门把"注意力后的记忆"与"旧记忆"混合,得到新的记忆矩阵 MtM_t。

和 Transformer 的本质区别:Transformer 的注意力作用于全部历史输入(成本高),而 RMC 的注意力作用于固定数量的记忆槽(成本恒定)。用项目 CHEATSHEET.md 的话说:RMC 把 O(N²) 的注意力交互装进了 O(1) 大小的记忆里。

关键超参数速查(来自 CHEATSHEET.md):

参数 典型取值 作用
num_slots 4-16 记忆槽数量,越多可追踪的对象越多,但越慢
slot_size 32-128 每个槽的向量维度
num_heads 4-8 注意力头数,让槽位并行关注不同类型的信息
遗忘门偏置 1.0 务必初始化,帮助保留长期依赖

N-th Farthest 实验:RMC 与 LSTM 的训练对比

论文设计的 "N-th Farthest" 合成任务是标准 LSTM 的"克星":模型必须记住序列中第 N 个向量,并把它与后续所有向量比较。LSTM 会在时间流逝中把"被持有的向量"冲淡,而 RMC 可以稳定保持。

在 train_minimal.py 中跑一次双模型对照实验:

cd papers/20_Relational_RNNs
python train_minimal.py --model both --save_plot

RMC 仅约 14k 参数,LSTM 约 22k 参数——更少的参数、更强的关系推理能力。下图是两者在 N-th Farthest 任务上的训练损失曲线对比:

Relational RNNs RMC 与 LSTM 在 N-th Farthest 任务上的训练损失对比曲线

除了合成任务,RMC 在 WikiText-103 语言建模上以更少参数达到 LSTM 级别的表现,在 Mini PacMan 强化学习任务上也胜过标准智能体。

可视化 RMC 的"思考过程"

想亲眼看看记忆槽之间如何"交谈"?运行:

python train_minimal.py --model rmc --visualize

它会生成自注意力热力图,展示每个时间步各记忆槽对彼此的关注权重——这正是 RMC 的"思维链"。

动手练习:5 步手写 RMC

项目的 exercises/ 目录提供了从零搭建 RMC 的完整路径,难度循序渐进:

# 练习 你会掌握
1 Dot Product Attention 手写缩放点积注意力(20 min)
2 LSTM Gating 实现遗忘门/输入门/候选门(30 min)
3 RMC Step 拼装注意力+门控的单步更新(40 min)
4 N-th Farthest Task 编写基准任务的数据生成器(20 min)
5 Training Loop 完整训练循环,看损失下降(60 min)

参考答案在 exercises/solutions/,建议先自己卡住再偷看。交互式演示可以看 notebook.ipynb。

RMC 选型参考:LSTM vs Transformer vs RMC

维度 LSTM Transformer Relational RNN (RMC)
记忆形式 单个向量 全部历史 一组向量(记忆槽)
推理方式 隐式(门控) 显式(注意力) 显式(注意力)
计算成本 O(Seq) O(Seq²) O(Seq × Slots²)
最适合 短/中序列 并行/离线处理 长序列在线推理

核心要点回顾

  1. 记忆即交互:记忆不只是存储,更是"新信息与旧信息建立联系"的过程;
  2. 注意力进循环:把注意力放进循环单元内部,就能在不保留无限历史的前提下获得更好的推理能力;
  3. 结构化状态:把状态拆成"槽位",帮助模型组织信息(对象 A 在槽 1,对象 B 在槽 2)。

从更宏观的视角看,RMC 是 RNN 与 Transformer 之间的"缺失环节":状态是固定大小的矩阵,更新方式是注意力——这种思想如今在 Linear Attention、Mamba/S4 等状态空间模型中持续回响。

相关资料

文件 说明
papers/20_Relational_RNNs/README.md 本 Day 完整导读
papers/20_Relational_RNNs/paper_notes.md 论文详细笔记与"鸡尾酒会"类比
papers/20_Relational_RNNs/implementation.py 完整 RelationalMemory 类实现
papers/20_Relational_RNNs/CHEATSHEET.md 30 秒速览 + 超参数与常见报错
papers/20_Relational_RNNs/train_minimal.py N-th Farthest 训练与对比脚本
papers/20_Relational_RNNs/exercises/ 5 个阶梯式动手练习
登录后查看全文
30u30