AGI Hunt· doesdatmaksense·· 3 小时前AI 评分29
免费公开课解读:推测解码为何多算反而更快
免费公开课解读推测解码:为何多算反而更快
AI 导读
Isaac Flath 与 Joe Barrow 将于 11 月 4 日晚 7:30–8:30(美东)主持免费在线论文讨论,解读推测解码为何在增加计算量的情况下仍能提速。课程将分析小模型起草多个 token、大模型并行验证,以及内存带宽、闲置 GPU 算力、batch size 和草稿接受率对加速比的影响;注册后可获取日历邀请、会后录像与笔记。
来源:AGI Hunt · agihunt.info