跳到正文
AGI Hunt· Excellent_Place4977·· 3 小时前AI 评分20

Reddit 讨论:4-bit 量化可省 75% 内存,为何大厂不用

AI 导读

Reddit 用户认为,当前模型多以 16-bit 精度运行,量化到 4-bit 甚至 2-bit 可减少约 75% 内存需求,且几乎不损失智能。他认为量化需要重新训练,而低资源运行会动摇大厂依赖大规模基础设施投入的商业模式,但该论证较为粗略。

来源:AGI Hunt · agihunt.info