跳到正文
热点事件持续更新

三星实验室开源LittleBit项目

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

三星实验室在 GitHub 开源 LittleBit 项目及其官方实现,称该方法可将大语言模型权重压缩至每个权重 0.1 比特,即低于 1 比特级别。 其技术路线是把每个稠密权重矩阵分解为低秩隐因子,对这些因子进行二值化,再恢复幅值信息,以降低模型权重的存储开销。上述压缩效果为三星实验室的宣称,项目代码现已公开。

AI 根据报道生成 · 41 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    三星实验室开源 LittleBit:将大语言模型权重压至每权重 0.1 比特

    三星实验室在 GitHub 开源 LittleBit 项目,宣称将大语言模型权重压缩到每权重 0.1 比特(sub-1-bit)级别。其技术路线是将每个稠密权重矩阵分解为低秩隐因子,对因子二值化后再恢复幅值信息。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。