Huawei 开源 MACaQ 量化工具，支持多模态模型本地推理

Huawei 开源 MACaQ，用于量化并运行文本、图像、视频和音频模型，支持 llama.cpp、vLLM、Diffusers 与 PyTorch。MACaQ 可在 32.5 GB 设备内存中于 64 分钟内量化 122B 参数模型，并提供 W4A4、2/3/4-bit GGUF、Ascend 内核及多模型工作流。