AGI Hunt· AIFlow_ML·· 1 小时前AI 评分47
两台 DGX Spark 本地运行 Sage-S2.1-Flash 321B 模型,819K 上下文缓存可跨重启
两台 DGX Spark 本地跑 321B 模型,819K 上下文缓存可跨重启
AI 导读
两台 DGX Spark 本地运行 Sage-S2.1-Flash 321B 模型,生成速度最高 37 tok/s,首 token 延迟仅 0.16 秒。该部署支持 819K token 上下文窗口,prompt cache 在重启后仍能保留,避免长上下文推理崩溃后重建巨大缓存。
来源:AGI Hunt · agihunt.info