AGI Hunt· gnukeith·· 3 小时前AI 评分38
开发者自建推理引擎运行 DeepSeek V4.1 Flash,默认 512K 上下文
开发者自建推理引擎跑 DeepSeek V4.1 Flash,默认 512K 上下文
AI 导读
开发者 gnukeith 公开了自建推理服务的细节,运行 DeepSeek V4.1 Flash 时默认提供 512K 上下文,最大可调至 1M。系统硬预留 3GB 内存防止过载崩溃,KV Cache 按需分配;引擎仅服务自身场景,因此只在切换模型或确有需要时更新。
来源:AGI Hunt · agihunt.info