AGI Hunt· terrrp·· 1 小时前AI 评分19
边缘部署工程师质疑:ViT 流行为何压过 CNN+Attention 混合架构
AI 导读
一位在边缘设备部署 CNN+Attention 堆叠模型的工程师发帖质疑 vanilla ViT 的流行,认为其让模型从零学习归纳偏置并不合理。他将 ViT 主导归因于历史惯性、算力成本下降与蒸馏兜底,并指出 LeViT 等工作已证明卷积 stem 可提升数据和时间效率,相关争论仍待开放讨论。
来源:AGI Hunt · agihunt.info