清华 KT-FT 让 CPU 参与 MoE 微调计算，吞吐量最高提升 21.2 倍

清华大学 MADSys 实验室与 KV-Cache Tech 发布 KTransformers-FineTune（KT-FT），让 CPU 直接参与大 MoE 模型微调计算，与 GPU 协同减少权重经 PCIe 搬运造成的瓶颈。相比传统 CPU-GPU 权重 offload 方案，微调吞吐量提升 2.5 至 21.2 倍，团队还与开源项目 LlamaFactory 合作构建使用生态。