kalomaze 猜想：深度序列模型或可模拟低秩注意力 LoRA 训练行为

kalomaze 提出猜想：足够深的序列模型或可在对数概率偏移意义上，模拟 rank-1 LoRA 等受限训练家族在序列化样本上的行为。他认为这需要刻意的 KL 蒸馏，才能呈现 ICL 像在对独立样本执行训练步的现象，而社区目前尚未有意朝此方向推进。