AGI Hunt· noahdgoodman·· 3 小时前AI 评分38
Humansand 优化 NVFP4 解码内核:更多比特反而快至多 10% 且更准
Humansand 优化 NVFP4 解码内核:更多比特反而快至多 10% 且更准
AI 导读
Humansand 团队加速高度优化的 NVFP4 decode 内核,在使用更多比特提升精度的同时,将生成速度最高提高 10%。该内核已用于 Ampersand 的 RL 训练和 Boba 推理服务。
来源:AGI Hunt · agihunt.info