跳到正文
AGI Hunt· dejanseo·· 2 小时前AI 评分41

Reflection.ai 爬虫被曝大规模抓取网页,疑在造搜索引擎或囤训练数据

AI 导读

SEO 从业者 dejanseo 公开质问 Reflection.ai,指其 Reflectionbot/1.0 爬虫近期以每秒级频率抓取多个网页路径,用途尚未获官方说明。站点实时日志显示,该爬虫访问了 Reddit AI、Gemini tokenizer及情绪故事页面,并与其他搜索引擎爬虫一同出现。相关质疑集中于其是在构建搜索引擎,还是仅为训练采集数据。

来源:AGI Hunt · agihunt.info