跳到正文
AGI Hunt· ZenZombie117·· 3 小时前AI 评分27

Xyntetik-Runner 推理引擎遭遇速度瓶颈,FP32 高精度是否值得坚持

自研推理引擎卡在速度墙:作者纠结 FP32 高精度到底值不值

AI 导读

独立开发者在 Xyntetik-Runner 推理引擎中遭遇速度瓶颈,FP32 高激活精度的实际价值成为核心争议。该引擎在多数测试模型上保真度优于 llama.cpp,但 CUDA 和 Metal 速度明显落后;1.5.0 正通过 tensor-core GEMM、分块注意力、CUDA graphs 和 MoE 优化追赶。

来源:AGI Hunt · agihunt.info