多家公司用防火墙拦截AI爬虫，与AI搜索曝光需求冲突

开发者 Gagan Ghotra 指出，多家公司一边争取在 AI 搜索中可见，一边通过防火墙拦截 AI 公司爬虫，导致其内容可能无法进入搜索结果或被引用。他提供的截图显示，某站点使用 Cloudflare 安全服务阻挡 AI 公司的 bot 请求，部分防火墙直接返回 404；企业若不放行抓取，就可能错失 AI 搜索带来的曝光。 这一做法形成自我矛盾：靠被 AI 爬虫抓取来获得引用和流量，与用防火墙把爬虫挡在门外指向相反结果。报道只展示了上述截图与个案做法，未说明哪些公司、哪些 AI 公司以及拦截造成的具体曝光损失规模。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。