AGI Hunt· gajesh·· 2 小时前AI 评分44
开源模型 Bonsai 2 9B 社区挑战一周提速 6 倍
开源模型 Bonsai 2 9B 社区挑战提速 6 倍
AI 导读
开源 9B 模型 Bonsai 2 经一周社区优化挑战显著提速,在 Mac(Apple Silicon/MLX)上提升 471%,达到约 959 tokens/s,在 NVIDIA DGX Spark 上提升 421%。TheDavidTai 团队通过深度调优自定义 dflash2 runner,并借助投机解码,使该模型在 mlx.fast 榜单跑出近 1000 tok/s。
来源:AGI Hunt · agihunt.info