跳到正文
热点事件持续更新

Recursive发布Boole 32B早期量化预览版

1 篇报道1 个报道来源24 分钟前更新

先了解这件事

AI 综述

Recursive团队发布Boole-32B-A2.5B-Preview,这是其flint模型的早期1.8-bit量化版本。团队称,模型体积仅9GB,在单张RTX 5090上运行速度达到565 token/s,体积比BF16小9倍、速度比INT4快2倍。 相关权重已上传至Hugging Face,采用GGUF格式;同时提供demo仓库和定制的llama.cpp fork,供开发者下载和测试。

AI 根据报道生成 · 16 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月13日
  1. AGI Hunt
    Recursive 发布 Boole-32B-A2.5B-Preview,单卡 RTX 5090 达 565 token/s

    Recursive 团队发布 Boole-32B-A2.5B-Preview 早期1.8-bit量化版,单张 RTX 5090 上达到565 token/s。模型仅9GB,比 BF16 小9倍、比 INT4 快2倍;权重已上传 Hugging Face,并提供 demo 仓库和自定义 llama.cpp fork。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。