两台DGX Spark本地运行321B模型
热点事件持续更新
两台DGX Spark本地运行321B模型
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
greatYiTin在本地部署并测试了Sage-S2.1-Flash 321B模型,使用两台DGX Spark运行,测得最高37 tok/s的生成速度和0.16秒的首token延迟。 该部署支持819K token上下文窗口;greatYiTin称,prompt cache在设备重启后仍可保留,因此长上下文推理发生崩溃后无需重新构建缓存。
AI 根据报道生成 · 54 分钟前更新
最新进展11月22日 06:46
两台 DGX Spark 本地运行 Sage-S2.1-Flash 321B 模型,819K 上下文缓存可跨重启报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI Hunt两台 DGX Spark 本地运行 Sage-S2.1-Flash 321B 模型,819K 上下文缓存可跨重启
两台 DGX Spark 本地运行 Sage-S2.1-Flash 321B 模型,生成速度最高 37 tok/s,首 token 延迟仅 0.16 秒。该部署支持 819K token 上下文窗口,prompt cache 在重启后仍能保留,避免长上下文推理崩溃后重建巨大缓存。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。