AGI Hunt· Level5Tech·· 2 小时前AI 评分52
量化评测存在噪声地板,引擎重启与 batch 切换最多扰动 0.92% 决策
量化评测有噪声地板:引擎重启与batch切换最多扰动0.92%决策
AI 导读
Level5Tech 测量了推理引擎重启、batch 切换和内核变化对量化模型决策的影响,非量化噪声源整体造成 0–0.92% 的决策变化。测试覆盖 Cloudflare 的 Clef-flash(9B)和 Clef(27B),在 NVIDIA GB10 上使用 2,400 条公开决策;两个模型的 4-bit 量化区间均与非量化噪声源分离,但五项预注册预测中有两项失败。
来源:AGI Hunt · agihunt.info