AGI Hunt· dl_weekly·· 1 小时前AI 评分59
Opik 如何通过修复八处 ClickHouse 瓶颈将数据摄取提速 30 倍
Comet 修复八处瓶颈,Opik 数据摄取提速 30 倍
AI 导读
Opik 工程师 Thiago Hora 复盘了将数据集与实验摄取速度提升 30 倍的工程优化。3 万条数据的上传时间从 39 分钟降至 80 秒,修复内容包括不必要的按数据集加锁和 O(n²) 参数绑定等八处瓶颈。文章指出,评测效率不仅取决于应用产出,也取决于平台写入和读取 ClickHouse 的效率。
来源:AGI Hunt · agihunt.info