跳到正文
AGI Hunt· UnfathomablecZoo·· 2 小时前AI 评分45

hy4 flash 开源后,大型 MoE 模型量化还有多少压缩空间?

hy4 flash 开源后,大 MoE 模型量化还有多少压缩空间?

AI 导读

Reddit 用户在 hy4 flash 完整权重开源后,讨论大型 MoE 模型量化还能压缩多少,以及模型质量能保留多少。腾讯此前公布了 hy4 preview 的量化工作,但对应量化方案尚未更新;社区提出更好的量化方法、智能显存管理和架构改进三个潜在方向。

来源:AGI Hunt · agihunt.info