律师用12块V100部署DeepSeek-V4.1-Flash
热点事件持续更新
律师用12块V100部署DeepSeek-V4.1-Flash
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一名律师将V100服务器从8卡升级至12张V100-SXM2-32GB,用于部署DeepSeek-V4.1-Flash,并将全部15,360个routed experts以NVFP4精度放入显存,解决了8卡254 GiB显存无法容纳278.9 GiB专家层的问题。 其公开实测显示,单请求单流代码生成解码速度为157—184 tok/s,支持1K—128K上下文,256K时为153 tok/s;三路并发共享缓存合计427 tok/s。服务配置支持524,288 token请求上限和4个并发槽位,部署仓库、配置、日志及踩坑清单均已公开。
AI 根据报道生成 · 17 分钟前更新
最新进展11月20日 02:28
律师用12块 V100 部署 DeepSeek-V4.1-Flash,单流解码达184 tok/s报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI Hunt律师用12块 V100 部署 DeepSeek-V4.1-Flash,单流解码达184 tok/s
一名律师将 V100 服务器从8卡升级至12张 V100-SXM2-32GB,用于部署 DeepSeek-V4.1-Flash,并把全部15,360个 routed experts 以 NVFP4 精度放入显存。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。