microagi 与 Hugging Face、Cloudflare 揭秘 PB 级机器人训练数据管道

microagi 与 Hugging Face、Cloudflare 合作构建机器人模型训练数据基础设施，并发布技术复盘。内容寻址去重使一个 239GB 数据集重传到 Hugging Face 时仅产生 2.6MB 过网流量，约一分钟完成；该管道支持每客户每日 1PB 以上容量，分发速度超过 10GB/s，经 Cloudflare Workers 分发超 1PB 成本约 500 美元。