Reddit用户公开本地部署30天处理量
热点事件持续更新
Reddit用户公开本地部署30天处理量
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一位Reddit用户公开其全本地部署30天的用量：处理量约8.97亿token，并在llama-swap、strata、ninfer、ComfyUI及训练任务之间轮换使用约30TB显存。 其中约8.88亿为prompt token、875万为输出token。作者特别说明，部分prompt token来自缓存命中，代表重复利用的输入，并非全部由模型新计算。
AI 根据报道生成 · 49 分钟前更新
最新进展11月14日 00:30
Reddit 用户全本地部署 30 天跑出近 9 亿 token，轮换使用约 30TB 显存报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- AGI HuntReddit 用户全本地部署 30 天跑出近 9 亿 token，轮换使用约 30TB 显存
一位 Reddit 用户晒出全本地部署 30 天的用量：约 8.97 亿 token，并在 llama-swap、strata、ninfer、ComfyUI 和训练任务之间轮换使用约 30TB 显存。其缓存命中的 prompt token 也计入处理量，代表复用的输入，并非全部新计算的 prompt。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。