Kioxia 研究：无标签训练让 ViT 学会聚焦并涌现空间注意力头专化

Kioxia 研究者提出两种视觉聚焦损失函数，将 Vision Transformer 的多头注意力与图像特定区域对齐，无需标注即可引导模型聚焦。该方法缓解自监督模型如 DINO 表征模糊、过度相似的问题，并促使多样且空间聚焦的注意力头专化自发涌现。定性、定量评测显示，零样本分割等稠密预测任务的表现显著提升。