单台主机本地运行552B模型测试公布

solyarisoftware 公布测试称，开源推理引擎 libosmos 已在单台配备 128GB 统一内存的 AMD Ryzen AI Max+ 395 迷你主机上运行 DeepSeek-V4.1-Flash:552B。该模型包含552B主干参数和约196B Engram参数，解码时激活约16B参数。 测试采用 UD-IQ1S 量化及 Linux、ROCm 7.x 环境：投机解码速度为38.2 tokens/s，无投机解码为19.2 tokens/s，8K提示词处理速度为482 tokens/s，并支持配置100万上下文；同一硬件和量化条件下，libosmos 的投机解码速度高于 Project Maya 1.1.53 的35.4 tokens/s。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。