英特尔测算小模型量化与选项重排预算

英特尔团队通过模拟实验，研究Qwen3-0.6B和Qwen3-1.7B如何在权重量化与答案选项重排之间分配推理预算，结果建议使用6-bit权重，并将剩余预算用于最多4次重排、每次一遍。 量化可降低权重存储的内存需求，选项重排则用于减少模型对答案顺序的敏感性；两者会竞争同一推理预算。该结论仅来自上述两个小模型的模拟实验，并非普遍适用结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。