AGI Hunt· huawei-csl·· 11 小时前AI 评分45
华为发布 MACaQ:MXFP4 W4A4 量化方法,兼容 llama.cpp 与 vLLM
AI 导读
华为推出模型无关的 MACaQ 校准后训练量化方法,可将权重与激活量化至 MXFP4 W4A4 低精度。该方法对每个线性层独立量化,并结合在线激活变换与 Hessian 感知精调,在降低成本的同时保持精度;支持文本、图像、音频、视频、3D 等模态,并兼容 llama.cpp、vLLM、Diffusers 等推理框架。
来源:AGI Hunt · agihunt.info