一条推文讲透注意力机制：本质就是矩阵乘法

一条推文用最小数值例子拆解多头自注意力，结论是 attention 基本上就是多几步的矩阵乘法。示例包含 4 个 token、嵌入维度 8、2 个注意力头，输入 X 为 (4×8)，依次计算 Q/K/V、QKᵀ、缩放后的 softmax 与 V，并完成拼接和输出投影，不含残差与归一化。