一张图看懂 FlashAttention：瓶颈不是计算，而是数据搬运数据

FlashAttention 将 Q/K/V 切成小块（如 64×64）载入片上高速 SRAM，在 tile 内完成注意力计算与数值稳定的在线 softmax，并累加 partial 结果。标准 Attention 会在 GPU 显存中物化 N×N 中间矩阵并反复读写；FlashAttention 因减少数据搬运而更快、更省显存，注意力结果完全一致。