跳到正文
热点事件持续更新

Llama 405B通过上下文模拟o1推理

1 篇报道1 个报道来源41 分钟前更新

先了解这件事

AI 综述

实验显示,Llama 405B基座模型在输入128页o1思维链后,无需微调即可模仿其推理风格并给出结果,表明模型能通过上下文学习未见过的推理模式。 这项能力被称为分布外上下文学习(OOD ICL);现有结论来自该实验,尚未涉及微调、模型训练或其他任务上的效果。

AI 根据报道生成 · 31 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月15日
  1. AGI Hunt
    Llama 405B 基座模型原生模拟 o1 思维链,展现分布外上下文学习能力

    实验显示,Llama 405B 基座模型在被喂入 128 页 o1 思维链(CoT)作为上下文后,无需微调即可模拟 o1 的推理风格并输出结果。该表现说明,基座模型天然具备分布外上下文学习(OOD ICL)能力,能够学习未见过的推理模式。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。