跳到正文
AGI Hunt· opUserZero·· 3 小时前AI 评分58

ToshLLM fork 优化让 Intel Mac 的 RX580 通过 Metal 达到 29 tok/s

15 年老 CPU+RX580 跑本地 LLM:fork 优化后 Metal 加速达 29 tok/s 接近 Vulkan

AI 导读

opUserZero 优化 ToshLLM fork,使 Intel Mac 可通过 Metal 调用 AMD RX580 等 GPU 加速 llama.cpp 本地推理。Ornith 9b 的速度从约 17 tok/s 提升至 29 tok/s,接近 Linux Vulkan 方案的 32 tok/s,且测试所用 CPU 不支持 AVX。

来源:AGI Hunt · agihunt.info