跳到正文
AGI Hunt· maximelabonne·· 3 小时前AI 评分38

RTX 3060 跑 38 小时:SLQ 量化混合 GGUF 评测超越原版

RTX 3060 跑 38 小时:SLQ 量化混合 GGUF 评测超越原版

AI 导读

Benjamin Marie 用单张 RTX 3060 跑了 38 小时,基于 ISTA 的 Statistically-Lossless Quantization(SLQ)方法,从 AtomicChat 和 LiquidAI 发布的 GGUF 中搜索张量组合,产出 LFM3-1.7B-SLQ-GGUF 模型。

来源:AGI Hunt · agihunt.info