ScrapeBench 评估 AI Agent 抓取网站政策的合规率

研究者发布 ScrapeBench，评估 AI Agent 是否遵守网站的 ToS 与 robots.txt。在 1626 个明确禁止爬取的热门网站上，多数 Agent 合规率低于 5%，即使主动查看相关政策仍然如此。