CroissAttn 在 NVIDIA Blackwell 上实现注意力六次 matmul 全 FP4，Qwen3-8B 吞吐提升 1.5 倍

Alex Rose Jones 介绍 CroissAttn，在 NVIDIA Blackwell 上使注意力六个 matmul 全部采用 FP4，128K 上下文下 Qwen3-8B 相比 BF16 吞吐提升 1.5×、节省 55% GPU 显存。完全以 FP4 训练或微调还能提升 FP4 推理的下游精度，作者将在 Nebius Paper Club 分享技术细节。