跳到正文
热点事件持续更新

12GB显存运行30B模型仍属概念验证

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

开发者称,其实验性本地推理环境 Shark Cove 可在一块 12GB 显存的 RTX 4070 SUPER 搭配 16GB DDR4 内存下,以约61GB、无量化的 BF16 权重运行 30B 模型,并完成48层全深度前向验证,推理速度由约0.5提升至0.8—0.83 tok/s。 该方案目前仍为概念验证,执行方法尚未公开,开发者也未说明其能否复现及是否适用于其他硬件。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    12GB 显存的 RTX 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,提速至 0.8 tok/s

    开发者用实验性本地推理环境 Shark Cove,在 12GB VRAM 的 RTX 4070 SUPER 与 16GB DDR4 上运行约 61GB、无量化的 BF16 30B 模型,推理速度由约 0.5 提升至 0.8–0.83 tok/s。48/48 层全深度前向验证已通过,执行方法暂未公开,目前仍处于概念验证阶段。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。