跳到正文
AGI Hunt· DotaMate·· 4 小时前AI 评分61

M5 Max 实测 Nanbeige4.3-33B:Kapitsa 解码最快,32K 上下文占 28GB

M5 Max 实测 33B 模型:Kapitsa 解码最快且 32K 仅占 28GB,KV cache 差距悬殊

AI 导读

Kapitsa 作者在 MacBook Pro M5 Max 128GB 上实测 mlx-lm、llama.cpp 与 Kapitsa 运行 Nanbeige4.3-33B 4-bit,覆盖 512 至 32K 上下文。

来源:AGI Hunt · agihunt.info