Hacker News·· 57 分钟前精选AI 评分76
SPECTRA:面向端侧 LLM 的 4-bit 压缩研究
Compress any LLM 3x in one click,near-lossless,in under 50 MB RAM
AI 导读
NeuraCryption 提出 SPECTRA,通过 Group-32 微缩放量化、异常值分离和 Triton 融合内核压缩 LLM,并在 NVIDIA GeForce RTX 3050 Ti Laptop GPU 上完成六种模型评测。
推荐理由
论文给出 SPECTRA 的数学推导、量化流程与 Triton 内核,并以六种模型和消费级 GPU 实测比较压缩率、速度及精度表现。
来源:Hacker News · neuracryption.com