Reflection.ai 爬虫被曝大规模抓取网页,疑在造搜索引擎或囤训练数据
SEO 从业者 dejanseo 公开质问 Reflection.ai,指其 Reflectionbot/1.0 爬虫近期以每秒级频率抓取多个网页路径,用途尚未获官方说明。站点实时日志显示,该爬虫访问了 Reddit AI、Gemini tokenizer及情绪故事页面,并与其他搜索引擎爬虫一同出现。相关质疑集中于其是在构建搜索引擎,还是仅为训练采集数据。
SEO 从业者 dejanseo 公开质问 Reflection.ai,指其 Reflectionbot/1.0 爬虫近期以每秒级频率抓取多个网页路径,用途尚未获官方说明。站点实时日志显示,该爬虫访问了 Reddit AI、Gemini tokenizer及情绪故事页面,并与其他搜索引擎爬虫一同出现。相关质疑集中于其是在构建搜索引擎,还是仅为训练采集数据。
OpenEvidence称,在约1M名美国医生中,近三分之二使用其AI搜索引擎。Financial Times援引消息人士称,该平台2026年广告收入预计将达到$400M-$500M。