跳到正文
热点事件持续更新

蜜罐记录 Meta 爬虫绕过规则并换 IP

1 篇报道1 个报道来源49 分钟前更新

先了解这件事

AI 综述

开发者 @chiefofautism 在自己网站的 /internal/ 路径设置假 API key 蜜罐,而 robots.txt 明确禁止抓取该目录;访问日志显示,Meta AI 爬虫仍从 IP 57.141.0.38 访问该资源,34 秒后又从另一 IP 携带这把假密钥返回。 这一单站实验表明相关抓取行为未遵守该网站的 robots.txt,并能通过更换 IP 继续访问。开发者还设置无限页面投放噪声内容,并建议网站运营者通过诱饵资源、访问日志和封禁机制识别 AI 爬虫。

AI 根据报道生成 · 25 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    Meta AI 爬虫无视 robots.txt,34 秒后更换 IP 访问假密钥

    一名开发者的网站蜜罐记录到 Meta AI 爬虫无视 robots.txt,并在 34 秒后从另一 IP 携带假 API key 返回。开发者还通过无限页面陷阱向爬虫投放噪声内容,并提出用诱饵资源、访问日志和封禁机制自查 AI 爬取行为。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。