UMAP激活弧线源于巨型坐标主导
热点事件持续更新
UMAP激活弧线源于巨型坐标主导
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
UMAP 将视觉模型激活可视化为一条弧，主要原因是某个远大于其他激活的巨型坐标主导了邻近关系，使样本近似按该坐标排序；实验中将其置零后，原本的一维弧线恢复为具有内部结构的团状分布。类似现象也出现在 LLM 中，约 1% 的 sink token 会形成类似开关的巨型坐标，因而可被 UMAP 自动隔离。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:43
UMAP 为何将模型激活可视化成一条弧报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- AGI HuntUMAP 为何将模型激活可视化成一条弧
UMAP 将视觉模型激活可视化成一条弧，是因为一个远大于其他激活的巨型坐标主导了邻近关系，使样本近似按该坐标排序。实验将这一坐标置零后，原本的一维弧线恢复为具有内部结构的团状分布；在 LLM 中，约 1% 的 sink token 会形成类似开关的巨型坐标，因此可被 UMAP 自动隔离。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。