Pedro Domingos 总结：注意力头可视为快速权重 MLP

Pedro Domingos 将一个注意力头概括为 fast-weight MLP：在 scaled dot-product attention 使用缩放后的 key/value 且激活函数为指数时，该注意力严格等价于宽度为 N 的两层动态权重 MLP。由此，各类高效注意力方法可统一理解为对 fast weights 采用不同缩放策略。