跳到正文
热点事件持续更新

Omarchy-mlx借Vulkan提升Qwen3解码速度

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Joshua Warren 发布 Omarchy-mlx 更新,使苹果 MLX 框架通过 Vulkan 在 RTX 5060 Ti 上解码 Qwen3-4B 4-bit 时达到 124 tok/s,高于同卡 llama.cpp CUDA 的约 101 tok/s。测试环境为通过 USB4 外接 RTX 5060 Ti 16GB eGPU 的 M1 Max MacBook Pro。 更新仅将 compute shader 之间依赖完整 GPU pipeline barrier 的机制改为更窄的 compute-to-compute barrier,以减少 shader 停顿;五组交错 A/B 测试均显示速度提升,且生成 token 逐位一致。该结果目前限于上述硬件、系统及模型组合。

AI 根据报道生成 · 39 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    Omarchy-mlx 更新借 Vulkan 让 Qwen3-4B 解码速度反超 CUDA

    Omarchy-mlx 更新使 MLX 通过 Vulkan 在 RTX 5060 Ti 上解码 Qwen3-4B 4-bit 达到 124 tok/s,高于同卡 llama.cpp CUDA 的约 101 tok/s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。