AGI Hunt· dr_cintas·· 1 小时前AI 评分49
三星开源 LittleBit:将 13B 模型压缩至 1GB 以内,权重最低 0.1 比特
三星开源LittleBit:13B模型压到1GB,0.1比特权重
AI 导读
三星开源极端量化方法 LittleBit,可将 13B 参数 LLM 压缩至 1GB 以内,部分配置权重低至 0.1 比特。该方法通过潜因子分解消去大部分浮点乘法,并以按位 XOR 替代核心运算,推理速度较标准 FP16 最高提升 11.6 倍。
来源:AGI Hunt · agihunt.info