microagi发布PB级机器人数据管道复盘

microagi与Hugging Face、Cloudflare合作构建机器人模型训练数据分发基础设施，并发布技术复盘。复盘称，内容寻址去重使239GB数据集重新上传至Hugging Face时仅产生2.6MB过网流量，约一分钟完成。 该管道支持每客户每日1PB以上容量，分发速度超过10GB/s，数据可送至AWS、GCP、Cloudflare或Hugging Face等云平台；经Cloudflare Workers分发超过1PB的成本约为500美元。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。