kalomaze：上下文学习只是 NTP 副产物，尚无人刻意蒸馏训练步

kalomaze 在与 Beren Millidge 的讨论中提出，上下文学习（ICL）可能是下一词预测（NTP）在骨干网络获得更多条件信息后的被动副产物。他尚未见有人将分类器在多个独立 SGD/Adam 步上的 logits 进行蒸馏，并猜想需通过刻意的 KL 蒸馏，才能让 IL 表现出类似独立样本训练步的行为。