Softmax 墙：低精度 attention 的瓶颈已从矩阵乘法转向超越函数与片上内存搬运

低精度 attention 在 FP8/FP4 下已受 Softmax 超越函数、向量运算和片上内存搬运限制，而非矩阵乘法。AMD MI355X 上两个 attention GEMM 仅需 1024 cycles，但精确 FP8 softmax 耗时 896 cycles；分析认为，粗粒度 token 级稀疏才是可行方向。