12GB显存运行30B模型仍属概念验证
热点事件持续更新
12GB显存运行30B模型仍属概念验证
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
开发者称,其实验性本地推理环境 Shark Cove 可在一块 12GB 显存的 RTX 4070 SUPER 搭配 16GB DDR4 内存下,以约61GB、无量化的 BF16 权重运行 30B 模型,并完成48层全深度前向验证,推理速度由约0.5提升至0.8—0.83 tok/s。 该方案目前仍为概念验证,执行方法尚未公开,开发者也未说明其能否复现及是否适用于其他硬件。
AI 根据报道生成 · 51 分钟前更新
最新进展11月22日 23:37
12GB 显存的 RTX 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,提速至 0.8 tok/s报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI Hunt12GB 显存的 RTX 4070 SUPER 跑起 61GB 无量化 BF16 30B 模型,提速至 0.8 tok/s
开发者用实验性本地推理环境 Shark Cove,在 12GB VRAM 的 RTX 4070 SUPER 与 16GB DDR4 上运行约 61GB、无量化的 BF16 30B 模型,推理速度由约 0.5 提升至 0.8–0.83 tok/s。48/48 层全深度前向验证已通过,执行方法暂未公开,目前仍处于概念验证阶段。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。