AGI Hunt· d77chong·· 38 分钟前AI 评分55
Recursive 发布 Boole-32B-A2.5B-Preview,单卡 RTX 5090 达 565 token/s
Boole-32B-A2.5B:9GB 1.8-bit MoE 单卡 5090 跑出 565 token/s
AI 导读
Recursive 团队发布 Boole-32B-A2.5B-Preview 早期1.8-bit量化版,单张 RTX 5090 上达到565 token/s。模型仅9GB,比 BF16 小9倍、比 INT4 快2倍;权重已上传 Hugging Face,并提供 demo 仓库和自定义 llama.cpp fork。
来源:AGI Hunt · agihunt.info