D2L项目教程：注意力机制中的注意力评分函数解析

引言

注意力机制是现代深度学习模型中不可或缺的组成部分，特别是在自然语言处理和计算机视觉领域。本文将深入探讨注意力机制中的核心组件——注意力评分函数，这是决定模型如何分配注意力的关键因素。

注意力机制基础

在注意力机制中，我们通常处理三个主要元素：

• 查询（Query）：表示当前需要关注的内容
• 键（Key）：表示可供选择的信息项
• 值（Value）：与键相关联的实际信息

注意力机制的核心思想是根据查询与键的相似度，计算出一个权重分布，然后对值进行加权求和。

注意力评分函数的作用

注意力评分函数用于计算查询和键之间的相关性分数，这个分数决定了模型在处理输入时会"关注"哪些部分。常见的评分函数包括：

1. 加性注意力：适用于查询和键维度不同的情况
2. 缩放点积注意力：适用于查询和键维度相同的情况，计算效率更高

加性注意力详解

加性注意力通过以下公式计算评分：

$$a(\mathbf q, \mathbf k) = \mathbf w_v^\top \text{tanh}(\mathbf W_q\mathbf q + \mathbf W_k \mathbf k)$$

其中：

• $\mathbf W_q$和$\mathbf W_k$是可学习的权重矩阵
• $\mathbf w_v$是将隐藏层输出转换为标量的权重向量
• tanh是激活函数

这种方法的优点是灵活性高，可以处理不同维度的查询和键，但计算成本相对较高。

缩放点积注意力详解

缩放点积注意力的计算公式为：

$$a(\mathbf q, \mathbf k) = \mathbf{q}^\top \mathbf{k} /\sqrt{d}$$

其中$d$是查询和键的维度。缩放因子$\sqrt{d}$用于防止内积值过大导致softmax函数的梯度消失问题。

这种方法的优点是计算效率高，但要求查询和键的维度必须相同。

掩码softmax操作

在实际应用中，我们经常需要处理变长序列。掩码softmax操作允许我们指定有效序列长度，超出该长度的部分会被赋予极小的值（在softmax后变为0），从而避免模型关注填充部分。

def masked_softmax(X, valid_lens):
    """带掩码的softmax操作"""
    if valid_lens is None:
        return softmax(X)
    else:
        # 根据valid_lens创建掩码
        mask = ... 
        X_masked = X.masked_fill(mask, -1e6)
        return softmax(X_masked)

实际应用示例

让我们通过一个简单示例演示这两种注意力机制的应用：

# 加性注意力示例
additive_attn = AdditiveAttention(key_size=2, query_size=20, num_hiddens=8)
output = additive_attn(queries, keys, values, valid_lens)

# 点积注意力示例
dot_attn = DotProductAttention(dropout=0.5)
output = dot_attn(queries, keys, values, valid_lens)

注意力权重可视化

通过热力图可以直观地观察模型对不同部分的关注程度：

d2l.show_heatmaps(attention_weights, xlabel='Keys', ylabel='Queries')

总结与比较

评分函数类型	适用场景	计算复杂度	灵活性
加性注意力	查询和键维度不同	较高	高
缩放点积注意力	查询和键维度相同	低	一般

实践建议

1. 当查询和键维度不同时，必须使用加性注意力
2. 对于高维数据，缩放点积注意力通常更高效
3. 在处理变长序列时，务必使用掩码机制
4. 可以通过可视化注意力权重来调试和理解模型行为

扩展思考

1. 如何设计新的注意力评分函数来捕捉特定的关系模式？
2. 在什么情况下简单的点积操作可能不足以表达复杂的相关性？
3. 如何平衡注意力机制的表达能力和计算效率？

通过深入理解注意力评分函数的工作原理，我们可以更好地设计和优化各种基于注意力机制的模型架构。