UMAP 为何将模型激活可视化成一条弧

UMAP 将视觉模型激活可视化成一条弧，是因为一个远大于其他激活的巨型坐标主导了邻近关系，使样本近似按该坐标排序。实验将这一坐标置零后，原本的一维弧线恢复为具有内部结构的团状分布；在 LLM 中，约 1% 的 sink token 会形成类似开关的巨型坐标，因此可被 UMAP 自动隔离。