低精度 Attention 遭遇 Softmax 墙
热点事件持续更新
低精度 Attention 遭遇 Softmax 墙
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
低精度 attention 的性能瓶颈正从矩阵乘法转向 Softmax 超越函数、向量运算和片上内存搬运。在 AMD MI355X 上，两个 attention GEMM 仅需 1024 个周期，而精确 FP8 Softmax 耗时 896 个周期。相关分析认为，粗粒度的 token 级稀疏化是更具可行性的优化方向。
AI 根据报道生成 · 1 小时前更新
最新进展11月10日 21:25
Softmax 墙：低精度 attention 的瓶颈已从矩阵乘法转向超越函数与片上内存搬运报道时间线
沿着报道，了解事件的不同侧面。
11月10日
- AGI HuntSoftmax 墙：低精度 attention 的瓶颈已从矩阵乘法转向超越函数与片上内存搬运
低精度 attention 在 FP8/FP4 下已受 Softmax 超越函数、向量运算和片上内存搬运限制，而非矩阵乘法。AMD MI355X 上两个 attention GEMM 仅需 1024 cycles，但精确 FP8 softmax 耗时 896 cycles；分析认为，粗粒度 token 级稀疏才是可行方向。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。