AGI Hunt· fakezeta·· 2 小时前AI 评分53
Qwen3.8-27B 词表剪枝量化版支持 16GB 卡 75K 上下文
Qwen3.8-27B 词表剪枝版:16GB 卡 75K 上下文 60 tok/s
AI 导读
作者发布 Qwen3.8-27B 词表剪枝量化版,在 5060Ti 16GB 上实现 75K 上下文和平均约 60 tok/s。该版本仅保留 ASCII 与 Latin-1/Latin-Extended-A 词表,并修改转换脚本以适配不同词表大小,已向上游提交 PR。IFEval 得分 84.4%,原版为 83.9%;作者计划结合低量化 MTP 进一步节省约 90MB 内存。
来源:AGI Hunt · agihunt.info