Youngjo 提出将深层 Transformer 视为神经 ODE 并做谱分析

Youngjo 提出将深层 Transformer 理解为神经 ODE，对数据在网络中的流动过程进行谱分析，以研究模型行为。该方法借助注意力机制定义的依赖状态交互矩阵切入模型分析，并被讨论者评价为“非常巧妙”。