AGI Hunt· SumitGup·· 1 小时前AI 评分53
Omarchy-mlx 更新借 Vulkan 让 Qwen3-4B 解码速度反超 CUDA
MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25%
AI 导读
Omarchy-mlx 更新使 MLX 通过 Vulkan 在 RTX 5060 Ti 上解码 Qwen3-4B 4-bit 达到 124 tok/s,高于同卡 llama.cpp CUDA 的约 101 tok/s。
来源:AGI Hunt · agihunt.info