跳到正文
热点事件持续更新

Qwen3-27B微调导出丢失MTP头

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AIFlow_ML分享称,Qwen3-27B经修改并导出为Hugging Face模型后,整个MTP头(用于draft/投机解码的模块)被丢弃。模型仍能正常输出答案,但解码速度变慢,因此这一结构缺失不易被察觉。 其建议是在每次模型导出前后,对比tensor名称,确认模型结构完整,避免MTP头在转换过程中丢失。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    微调 Qwen3-27B 导出 Hugging Face 时丢失 MTP 头,解码变慢难察觉

    修改 Qwen3-27B 并导出到 Hugging Face 后,整个 MTP 头(draft/投机解码模块)被丢弃,导致输出答案仍正常,但解码速度变慢,因此问题不易被发现。建议每次模型导出前后都 diff 一遍 tensor 名称,确认模型结构完整。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。