企业反爬规则或致产品页被AI助手屏蔽

企业配置反爬规则时，可能意外使公开产品页不再出现在 ChatGPT、Perplexity、Claude 等 AI 助手的回答中。报道指出，robots.txt 本身只是偏好声明，实际访问控制主要依赖边缘规则和加密机器人验证。 企业应区分用于批量模型训练的爬虫、搜索索引爬虫与用户触发的 AI 助手，先验证访问者身份，再决定是否授权，避免反爬措施连带屏蔽正常用户所需的产品信息。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。