跳到正文
AGI Hunt· textclf·· 3 小时前AI 评分62

ThousandML 开源 4-bit CQ 量化微调方案,验证损失较 Unsloth 低 17.4%

ThousandML 开源 4-bit CQ 量化微调:验证损失比 Unsloth 低 17.4%

AI 导读

ThousandML 发布开源微调平台,采用无校准 4-bit CQ 量化执行 QLoRA 微调。在 Qwen3.8-27B 上,其最终验证损失为 1.0315,较 Unsloth 的 1.2484 低 17.4%,磁盘占用为 18GB,低于 Unsloth 的 22.4GB。CQ 稳态步时为 27.6s,落后于 Unsloth 的 3.2s;当前结果仅涉及损失对比,尚未验证下游任务质量。

来源:AGI Hunt · agihunt.info