跳到正文
热点事件持续更新

ViT超越CNN源于大规模预训练

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Reddit 用户 moschles 回顾并分析 ViT 超越 CNN 的原因,称其经典论文显示:随着预训练数据从 1400 万张扩至 30 亿张图像,ViT 能通过大规模预训练压过 CNN 固有的归纳偏置。 相关论文报告显示,在此数据规模下,ViT 在 ImageNet、ImageNet-ReaL 和 CIFAR-100 上的准确率分别达到 88.55%、90.72% 和 94.55%,在 VTAB 的 19 项任务中达到 77.63%。这一结论指向的是大规模预训练条件下的性能表现,并不表示 ViT 在所有数据规模或任务中均优于 CNN。

AI 根据报道生成 · 44 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    ViT 为何胜过 CNN:被引 11 万次论文揭示大规模预训练压过归纳偏置

    ViT 的经典论文揭示,大规模预训练可压过 CNN 的归纳偏置。数据扩至 14M–3000M 张图像后,ViT 在 ImageNet、ImageNet-ReaL、CIFAR-100 分别达 88.55%、90.72%、94.55%,VTAB 19 项任务达 77.63%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。