社区用户同卡对比Flint与Qwen

社区用户 nimorotem 称，在两块相同的 RTX A6000 48GB 上以 8bit 对比 Flint 与 Qwen3.8-27B 后，自己已从 Qwen 重度用户转为全程使用 Flint，评价偏向 Flint 的速度和回答质量。 测试中，Flint 是总参数39.8B、激活2.5B的 MoE 模型，通过 llama.cpp 运行；Qwen 是27B稠密模型，通过 vLLM 运行。两者使用相同采样参数和推理上限。报道还提到 Flint 的4bit运行速度更快，但未给出完整速度和质量指标。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。