AGI Hunt· vhsgreed·· 3 小时前AI 评分71
分级抓取爬虫 certainlyscraped 开源,提供 MCP 服务
分级抓取爬虫开源:先普通HTTP,不行再浏览器TLS指纹,还带MCP服务
AI 导读
作者开源了分级抓取爬虫 certainlyscraped,可由 Agent 通过 MCP 服务直接调用。抓取优先使用普通 HTTP,被拒后升级为浏览器 TLS 指纹,必要时才启动真实浏览器。项目每晚更新 39 个热门站点的测试表,并逐页记录抓取层级与失败位置,源码见 https://agihunt.info/p/1a19673cdaa6c9eefe551ef3cbf。
来源:AGI Hunt · agihunt.info