跳到正文
AGI Hunt· pmttyji·· 3 小时前AI 评分73

Hugging Face 用户发布 Ternary Nemotron 3.5 Lightning 30B-A3B 1.58bit 量化包

1.58bit 三值 Nemotron 30B MoE:12GB 显存跑 368K 上下文

AI 导读

Hugging Face 用户 boro64 发布了 Ternary Nemotron 3.5 Lightning 30B-A3B 的 1.58bit 三值量化 GGUF 包,可在 12GB 显存的 GPU 上运行 368K 上下文。

来源:AGI Hunt · agihunt.info