跳到正文
AGI Hunt· crusaderky·· 4 小时前AI 评分46

LiquidAI LFM3-1.7B 量化实测:3.6 GiB 显存近无损,2.2 GB 轻度降质

LFM3-1.7B 量化实测:3.6 GB 显存近无损,2.2 GB 轻度降质

AI 导读

Reddit 用户公开 LiquidAI LFM3-1.7B 量化评测报告,准无损量化约需 3.6 GiB 显存,压缩到 2.2 GB 时仅出现轻度质量下降。报告给出 Q4Q8 各量化档位的最优显存与失真平衡点,原始数据和 KL 散度等图表均发布于 GitHub 仓库 pixi-llm-recipes。

来源:AGI Hunt · agihunt.info