Google 的 Gary Illyes 谈假 Googlebot 泛滥与 AI 训练抓取问题

Google 的 Gary Illyes 在 Odys Podcast 中分析了爬虫冒充与验证机制，指出仅声明 Googlebot User-Agent 并不能证明身份。真实验证需要核对官方 IP 范围和反向 DNS，他还会利用蜜罐网站识别假爬虫。AI 公司对训练 token 的需求加剧了不良抓取，未知爬虫可能耗尽带宽并导致网站宕机，机器人认证成本则可能由 WAF、CDN 或网站所有者承担。