企业反爬规则可能让产品页从 ChatGPT 等 AI 助手答案中消失

企业配置反爬规则时，可能 inadvertently 让公开产品页从 ChatGPT、Perplexity、Claude 的回答中消失。文章指出 robots.txt 仅是偏好声明，实际访问控制依赖边缘规则和加密机器人验证，应区分批量模型训练爬虫、搜索索引爬虫与用户触发的 AI 助手，并先验证身份再授权。