跳到正文
AGI Hunt· yogthos·· 3 小时前AI 评分60

华为 CSL 开源模型无关量化方案 MACaQ

华为开源模型无关量化方案 MACaQ

AI 导读

华为 CSL 团队开源 MACaQ 模型无关校准后训练量化方案,可将权重与激活量化至 MXFP4 W4A4,支持文本、图像、音频、视频及 3D 模型。该方案面向本地推理,可输出 GGUF,并兼容 llama.cpp 与 vLLM;据称其 KL 散度比 Unsloth 低 23%。

来源:AGI Hunt · agihunt.info