AGI Hunt· MikePFrank·· 1 小时前AI 评分55
三星实验室开源 LittleBit:将大语言模型权重压至每权重 0.1 比特
三星实验室开源 LittleBit:LLM 权重压至 0.1 比特仍可用
AI 导读
三星实验室在 GitHub 开源 LittleBit 项目,宣称将大语言模型权重压缩到每权重 0.1 比特(sub-1-bit)级别。其技术路线是将每个稠密权重矩阵分解为低秩隐因子,对因子二值化后再恢复幅值信息。
来源:AGI Hunt · agihunt.info