跳到正文
热点事件持续更新

Qwen 27B量化循环实测结果分享

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一名作者分享其在重度 Agent 负载下对 Qwen 27B INT8 与 AWQ INT4 量化版本的实测结果:更激进的 INT4 量化出现更多思考循环,Agent 轮次成功率也低于 INT8。 测试使用相同采样参数、Hermes harness 和循环检测器,其中 INT8 部署于 4 张 3090,AWQ INT4 部署于 2 张 3090,并分别收集两周日志;结果同时涉及思考循环和投机解码监控信号。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. AGI Hunt
    Qwen 27B INT4 量化在长上下文 Agent 负载中的循环风险实测

    Old_Ad_6033 在重度 Agent 负载下实测 Qwen 27B 的 INT8 与 AWQ INT4 量化,发现量化更激进时死循环增加且轮次成功率下降。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。