华为开源MACaQ多模态低精度量化工具
先了解这件事
华为CSL团队开源模型无关的校准后训练量化工具MACaQ，可将权重和激活量化至MXFP4 W4A4，用于降低本地推理成本，并通过逐层量化、在线激活变换和Hessian感知精调保持精度。 该项目支持文本、图像、音频、视频及3D模型，兼容llama.cpp、vLLM、Diffusers和PyTorch，可输出W4A4、2/3/4-bit GGUF及Ascend内核。据项目资料，量化122B参数模型可在32.5GB设备内存中用64分钟完成；完整模型运行需接入昇腾推理运行时，各后端需使用Python 3.12并分别建立环境。报道还称其KL散度比Unsloth低23%，但该效果来自项目方说法。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- AGI Hunt华为 CSL 开源模型无关量化方案 MACaQ
华为 CSL 团队开源 MACaQ 模型无关校准后训练量化方案，可将权重与激活量化至 MXFP4 W4A4，支持文本、图像、音频、视频及 3D 模型。该方案面向本地推理，可输出 GGUF，并兼容 llama.cpp 与 vLLM；据称其 KL 散度比 Unsloth 低 23%。
- Hacker NewsHuawei 开源 MACaQ 量化工具，支持多模态模型本地推理
Huawei 开源 MACaQ，用于量化并运行文本、图像、视频和音频模型，支持 llama.cpp、vLLM、Diffusers 与 PyTorch。MACaQ 可在 32.5 GB 设备内存中于 64 分钟内量化 122B 参数模型，并提供 W4A4、2/3/4-bit GGUF、Ascend 内核及多模型工作流。
- AGI Hunt华为发布 MACaQ：MXFP4 W4A4 量化方法，兼容 llama.cpp 与 vLLM
华为推出模型无关的 MACaQ 校准后训练量化方法，可将权重与激活量化至 MXFP4 W4A4 低精度。该方法对每个线性层独立量化，并结合在线激活变换与 Hessian 感知精调，在降低成本的同时保持精度；支持文本、图像、音频、视频、3D 等模态，并兼容 llama.cpp、vLLM、Diffusers 等推理框架。
本事件热度走势
- 可比范围当前
- 19
- 可比范围峰值
- 2011月12日 05:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。