跳到正文
AGI Hunt· Ill-Organization-38·· 1 小时前AI 评分33

12GB 显存的 RTX 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,提速至 0.8 tok/s

12GB 显存的 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,速度提到 0.8 tok/s

AI 导读

开发者用实验性本地推理环境 Shark Cove,在 12GB VRAM 的 RTX 4070 SUPER 与 16GB DDR4 上运行约 61GB、无量化的 BF16 30B 模型,推理速度由约 0.5 提升至 0.8–0.83 tok/s。48/48 层全深度前向验证已通过,执行方法暂未公开,目前仍处于概念验证阶段。

来源:AGI Hunt · agihunt.info