AGI Hunt· ParaboloidalCrest·· 1 小时前AI 评分27
llama.cpp Vulkan 后端投机解码遭吐槽:更慢、更占显存,收益不及预期
llama.cpp Vulkan 下投机解码被吐槽:更慢、更吃显存,还不如不开
AI 导读
llama.cpp 的 Vulkan 后端投机解码被 Reddit 用户吐槽:有时比关闭投机解码更慢,min/max 参数也需持续手工调整。该体验明显拖慢 prompt 处理速度,在 128k+ 的上下文深度下 token 生成收益归零,并额外占用足够容纳 128k 上下文的显存。
来源:AGI Hunt · agihunt.info