Omarchy-mlx借Vulkan提升Qwen3解码速度
热点事件持续更新
Omarchy-mlx借Vulkan提升Qwen3解码速度
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Joshua Warren 发布 Omarchy-mlx 更新,使苹果 MLX 框架通过 Vulkan 在 RTX 5060 Ti 上解码 Qwen3-4B 4-bit 时达到 124 tok/s,高于同卡 llama.cpp CUDA 的约 101 tok/s。测试环境为通过 USB4 外接 RTX 5060 Ti 16GB eGPU 的 M1 Max MacBook Pro。 更新仅将 compute shader 之间依赖完整 GPU pipeline barrier 的机制改为更窄的 compute-to-compute barrier,以减少 shader 停顿;五组交错 A/B 测试均显示速度提升,且生成 token 逐位一致。该结果目前限于上述硬件、系统及模型组合。
AI 根据报道生成 · 39 分钟前更新
最新进展11月22日 16:47
Omarchy-mlx 更新借 Vulkan 让 Qwen3-4B 解码速度反超 CUDA报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI HuntOmarchy-mlx 更新借 Vulkan 让 Qwen3-4B 解码速度反超 CUDA
Omarchy-mlx 更新使 MLX 通过 Vulkan 在 RTX 5060 Ti 上解码 Qwen3-4B 4-bit 达到 124 tok/s,高于同卡 llama.cpp CUDA 的约 101 tok/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。