AGI Hunt· TumbleweedNew6515·· 2 小时前精选AI 评分76
8 张 Tesla V100 运行 DeepSeek-V4.1-Flash 的部署实测
律师用 8 张 2018 年 V100 跑 DeepSeek-V4.1：代码 215 tok/s、524K 上下文全进显存
AI 导读
一名自称律师的 Reddit 用户用 8 张 Tesla V100-SXM2-32GB 运行 2-bit 量化的 DeepSeek-V4.1-Flash，代码生成速度达到 215 tok/s。该配置支持 524K 上下文并将 248.8 GB 权重全部驻留显存，作者还公开了并行部署、CUDA graphs 与 drafter 调优方案及开源 repo。
推荐理由
文章给出低显存运行大模型的并行配置、量化方案与实测吞吐，并公开相关代码，便于评估旧硬件改造方案。
来源：AGI Hunt · agihunt.info