跳到正文
Hacker News·· 57 分钟前精选AI 评分76

SPECTRA:面向端侧 LLM 的 4-bit 压缩研究

Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM

AI 导读

NeuraCryption 提出 SPECTRA,通过 Group-32 微缩放量化、异常值分离和 Triton 融合内核压缩 LLM,并在 NVIDIA GeForce RTX 3050 Ti Laptop GPU 上完成六种模型评测。

推荐理由

论文给出 SPECTRA 的数学推导、量化流程与 Triton 内核,并以六种模型和消费级 GPU 实测比较压缩率、速度及精度表现。

来源:Hacker News · neuracryption.com