AGI Hunt· UnfathomablecZoo·· 2 小时前AI 评分45
hy4 flash 开源后,大型 MoE 模型量化还有多少压缩空间?
hy4 flash 开源后,大 MoE 模型量化还有多少压缩空间?
AI 导读
Reddit 用户在 hy4 flash 完整权重开源后,讨论大型 MoE 模型量化还能压缩多少,以及模型质量能保留多少。腾讯此前公布了 hy4 preview 的量化工作,但对应量化方案尚未更新;社区提出更好的量化方法、智能显存管理和架构改进三个潜在方向。
来源:AGI Hunt · agihunt.info