跳到正文
AGI Hunt· Distinct-Pie2389·· 2 小时前AI 评分37

Reddit 用户全本地部署 30 天跑出近 9 亿 token,轮换使用约 30TB 显存

单月本地跑出近 9 亿 token、30.5TB 显存轮换,硬核自部署用量曝光

AI 导读

一位 Reddit 用户晒出全本地部署 30 天的用量:约 8.97 亿 token,并在 llama-swap、strata、ninfer、ComfyUI 和训练任务之间轮换使用约 30TB 显存。其缓存命中的 prompt token 也计入处理量,代表复用的输入,并非全部新计算的 prompt。

来源:AGI Hunt · agihunt.info