跳到正文
热点事件持续更新

Qwen3.8-27B剪枝版适配16GB显卡

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

fakezeta 制作并上传了基于 Unsloth Qwen3.8-27B Q3KXL 的词表剪枝量化版,版本包括 GGUF 和 ninfer,仅保留 ASCII、Latin-1 与 Latin-Extended-A 词表。在 5060 Ti 16GB 上,该版本可运行 75K 上下文,平均速度约 60 tok/s,IFEval 得分为 84.4%,略高于原版的 83.9%。 他还修改了 iamwavecut 的转换脚本,使其适配不同词表大小,并向上游提交 PR。作者计划进一步结合低量化 MTP,在现有基础上节省约 90MB 内存,但该优化尚未完成。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月15日
  1. AGI Hunt
    Qwen3.8-27B 词表剪枝量化版支持 16GB 卡 75K 上下文

    作者发布 Qwen3.8-27B 词表剪枝量化版,在 5060Ti 16GB 上实现 75K 上下文和平均约 60 tok/s。该版本仅保留 ASCII 与 Latin-1/Latin-Extended-A 词表,并修改转换脚本以适配不同词表大小,已向上游提交 PR。IFEval 得分 84.4%,原版为 83.9%;作者计划结合低量化 MTP 进一步节省约 90MB 内存。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。