AGI Hunt· UCBerkeley·· 2 小时前AI 评分64
UC Berkeley 等发布 SpecPilot,自动寻找投机解码最优算法
UC Berkeley 等发布 SpecPilot:自动为投机解码找最优算法
AI 导读
UC Berkeley、Princeton、Stanford 与 NVIDIA 联合提出 SpecPilot,通过自主智能体循环为具体部署场景寻找投机解码算法和系统优化。方法利用成本模型定位性能差距,并行探索改进方向,再通过 token forcing 对输出 token 逐一对账,在保证无质量损失的前提下最大化加速,代码已开源。
来源:AGI Hunt · agihunt.info