跳到正文
AGI Hunt· GodComplecs·· 2 小时前AI 评分40

单卡 RTX 3090 本地运行 DeepSeek V4.1,量化后速度达 20 tokens/s

单卡 RTX 3090 本地跑 DeepSeek V4.1,量化后达 20 tokens/s

AI 导读

Reddit 用户 GodComplecs 通过 Xolotl 在单张 RTX 3090 上运行高度量化的 DeepSeek V4.1,按官方参数配置实现约 20 tokens/s,并配合 80GB DDR4 内存与 NVMe。其测试显示回答质量与同类问题相当,较上一代 V4 Flash 约 8 tokens/s 有明显速度提升。

来源:AGI Hunt · agihunt.info