跳到正文
AGI Hunt· pmttyji·· 1 小时前AI 评分46

llama.cpp PR #32735 修复 Vulkan 的 SCALE 算子性能损失,让 Inkling-2-Mini 推理提速 2.3-3.2 倍

llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍

AI 导读

llama.cpp PR #32735 修复 Vulkan 的 SCALE 算子性能损失,使 Inkling-2-Mini 推理提速 2.3-3.2 倍。在 Radeon AI PRO R9700 上使用 Unsloth 模型实测,pp512 从 507.3 提升至 1604.8 tok/s(3.2 倍),tg128 从 19.1 提升至 53.8 tok/s(2.8 倍)。

来源:AGI Hunt · agihunt.info