AGI Hunt· pmttyji·· 1 小时前AI 评分46
llama.cpp PR #32735 修复 Vulkan 的 SCALE 算子性能损失,让 Inkling-2-Mini 推理提速 2.3-3.2 倍
llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍
AI 导读
llama.cpp PR #32735 修复 Vulkan 的 SCALE 算子性能损失,使 Inkling-2-Mini 推理提速 2.3-3.2 倍。在 Radeon AI PRO R9700 上使用 Unsloth 模型实测,pp512 从 507.3 提升至 1604.8 tok/s(3.2 倍),tg128 从 19.1 提升至 53.8 tok/s(2.8 倍)。
来源:AGI Hunt · agihunt.info