《动手学深度学习》

注意力机制

• 人类的注意力是一种稀缺资源，可以交换的、有限的、有价值的且稀缺的商品。

• 注意力提示：突出性的非自主性提示、依赖于任务的自主性提示。

  在注意力机制的背景下，自主性提示称为查询（query）

  给定任何查询，注意力机制通过注意力汇聚（attention pooling） 将选择引导至感官输入（sensory inputs，例如中间特征表示）

  这些感官输入被称为值（value）

  每个值都与一个键（key）配对， 健（key）为感官输入的非自主提示

  注意力机制通过注意力汇聚将查询（自主性提示）和键（非自主性提示）结合在一起，实现对值（感官输入）的选择倾向

• 多头注意力

• 自注意力

• Transformer