跳到正文
AGI Hunt· noahdgoodman·· 3 小时前AI 评分38

Humansand 优化 NVFP4 解码内核:更多比特反而快至多 10% 且更准

Humansand 优化 NVFP4 解码内核:更多比特反而快至多 10% 且更准

AI 导读

Humansand 团队加速高度优化的 NVFP4 decode 内核,在使用更多比特提升精度的同时,将生成速度最高提高 10%。该内核已用于 Ampersand 的 RL 训练和 Boba 推理服务。

来源:AGI Hunt · agihunt.info