深度模型模拟LoRA训练的猜想

kalomaze 提出技术猜想：足够深的序列模型可能通过仅注意力的 rank-1 LoRA 等受限训练族，在对数概率偏移意义上模拟训练过程。该猜想还提出，序列模型或可经 KL 蒸馏逼近上下文学习表现。

kalomaze 提出猜想：足够深的序列模型或可在对数概率偏移意义上，模拟 rank-1 LoRA 等受限训练家族在序列化样本上的行为。他认为这需要刻意的 KL 蒸馏，才能呈现 ICL 像在对独立样本执行训练步的现象，而社区目前尚未有意朝此方向推进。

kalomaze 在与 Beren Millidge 的讨论中提出，上下文学习（ICL）可能是下一词预测（NTP）在骨干网络获得更多条件信息后的被动副产物。他尚未见有人将分类器在多个独立 SGD/Adam 步上的 logits 进行蒸馏，并猜想需通过刻意的 KL 蒸馏，才能让 IL 表现出类似独立样本训练步的行为。