跳到正文
热点事件持续更新

开发者称AI将更强且更便宜

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 gnukeith 引用 DeepSeek 的量化与 KV Cache 压缩成果,认为 AI 未来将显著更强且更便宜;这一判断引发热议,但并非已经证实的行业结论。按其引用的数据,同为 100 万 token 上下文,DeepSeek V4.1 Flash 的内存占用不到 0.9GB,Llama 3.3 70B 约需 320GB,Qwen 3 8B 约需 144GB。 他还称,KV Cache 每 token 的字节数自 2023 年 11 月的 DeepSeek-V1 起三年缩小 437 倍,相关量化技术可让 7630 亿参数模型在约 305GB 内存上近无损运行。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. AGI Hunt
    DeepSeek 量化技术受热议:KV Cache 三年缩小 437 倍

    开发者 gnukeith 引用 DeepSeek 相关技术成果指出,KV Cache 每 token 字节数自 2023 年 11 月的 DeepSeek-V1 起,三年间缩小 437 倍。借助 DeepSeek 论文中的量化技术,7630 亿参数模型可在约 305GB 内存上近无损运行,相关观点认为 AI 将更强也更便宜并引发热议。

  2. AGI Hunt
    DeepSeek V4.1 Flash 跑 1M 上下文内存不到 0.9GB,Llama 3.3 70B 需 320GB

    开发者 gnukeith 认为 DeepSeek V4.1 Flash 的工程表现被低估,其 KV Cache 压缩显著降低了长上下文推理的内存门槛。按文中数据,同为 1M token 上下文,DeepSeek V4.1 Flash 占用不到 0.9GB 内存,Llama 3.3 70B 约需 320GB,Qwen 3 8B 约需 144GB。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。