PLatour推动大模型能力向小模型迁移

伦敦国王学院与腾讯优图等发布PACT跨模型迁移研究并开源PLatour框架，用轻量线性桥连接冻结的大、小模型，以任务奖励训练大模型prompt表示向小模型生成能力的迁移。研究称，该方法在生成任务上超越开源基线，并使更小的sender在数学和编码基准上超过Mostik此前报告的结果。 PACT即“Prefill-to-Autoregressive”，通过结合大模型的prompt表示与小模型的高效生成，目标是在保留模型能力的同时降低推理成本；PLatour还支持混合注意力架构。

AI 根据报道生成 · 28 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。