跳到正文
热点事件持续更新

llama.cpp修复Vulkan算子显著提速

1 篇报道1 个报道来源56 分钟前更新

先了解这件事

AI 综述

Revertron向llama.cpp提交PR #32735,修复Vulkan后端SCALE算子处理非连续源张量时的性能损失。作者在Radeon AI PRO R9700上使用Unsloth的Inkling-2-Mini-UD-Q8KXL.gguf实测,pp512速度由507.3提升至1604.8 tok/s,tg128由19.1提升至53.8 tok/s,分别达到3.2倍和2.8倍。 在深上下文d16384下,pp512和tg128也分别提升2.3倍和2.5倍;测试使用llama-bench并启用全层卸载等指定参数。

AI 根据报道生成 · 27 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    llama.cpp PR #32735 修复 Vulkan 的 SCALE 算子性能损失,让 Inkling-2-Mini 推理提速 2.3-3.2 倍

    llama.cpp PR #32735 修复 Vulkan 的 SCALE 算子性能损失,使 Inkling-2-Mini 推理提速 2.3-3.2 倍。在 Radeon AI PRO R9700 上使用 Unsloth 模型实测,pp512 从 507.3 提升至 1604.8 tok/s(3.2 倍),tg128 从 19.1 提升至 53.8 tok/s(2.8 倍)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。