跳到正文
AGI Hunt· Robert__Sinclair·· 3 小时前AI 评分35

Reddit 用户实测:Cyber-Tiel-Coder-35B-A3B-MTP 量化版推理能力领先小型量化模型

Reddit 用户实测:量化版 Cyber-Tiel-Coder-35B 成最强小模型

AI 导读

Reddit 用户 RobertSinclair 实测 Cyber-Tiel-Coder-35B-A3B-MTP 的 UD-IQ3XXS 量化 GGUF 版本,称其推理能力居所测小型量化模型首位。该量化版本的推理质量未明显退化,速度仅略慢于 Ling;在纯 CPU 的类 GitHub 4 核配置下可达 7-8 tok/s。

来源:AGI Hunt · agihunt.info