FLAMIA发布Blackwell注意力内核
热点事件持续更新
FLAMIA发布Blackwell注意力内核
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
FLAMIA研究者介绍了一套面向NVIDIA Blackwell GPU的Flash Attention实现，通过MXFP8微缩放和混合精度内核加速Transformer注意力训练，同时防止训练中的因果信息泄漏。 该实现按key分组共享缩放因子，结合密集的逐行缩放表和共享内存中的128×4 atom，在支持变长打包文档训练的同时隔离未来token信息。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 17:17
FLAMIA 以 MXFP8 混合精度内核加速 Blackwell 训练并防止因果泄漏报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI HuntFLAMIA 以 MXFP8 混合精度内核加速 Blackwell 训练并防止因果泄漏
FLAMIA 是面向 NVIDIA Blackwell GPU 的 Flash Attention 实现，通过 MXFP8 微缩放与混合精度内核加速 Transformer 注意力训练。其按 key 分组共享缩放因子，并结合密集 per-row 缩放表与共享内存中的 128×4 atom，在支持变长打包文档训练的同时防止未来 token 信息泄漏。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。