跳到正文
热点事件持续更新

Reddit用户实测35B量化模型推理表现

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit 用户 RobertSinclair 实测 Cyber-Tiel-Coder-35B-A3B-MTP 的 UD-IQ3XXS 量化 GGUF 版本后称,该模型在其测试过的小型量化模型中推理能力最强,且量化后推理质量没有明显退化,速度仅略慢于 Ling。这属于个人用户测试评价,并非独立基准结论。 在纯 CPU、类似 GitHub 4 核配置下,该量化版本可达到 7—8 tok/s。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. AGI Hunt
    Reddit 用户实测:Cyber-Tiel-Coder-35B-A3B-MTP 量化版推理能力领先小型量化模型

    Reddit 用户 RobertSinclair 实测 Cyber-Tiel-Coder-35B-A3B-MTP 的 UD-IQ3XXS 量化 GGUF 版本,称其推理能力居所测小型量化模型首位。该量化版本的推理质量未明显退化,速度仅略慢于 Ling;在纯 CPU 的类 GitHub 4 核配置下可达 7-8 tok/s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。