跳到正文
MarkTechPost· Michal Sutter·· 1 小时前AI 评分66

Google Cloud 发布开源 TPU Sync,用于在 TPU 间传输 KV cache 和模型权重

Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs

AI 导读

Google Cloud 发布 Apache-2.0 许可的开源 C++ 库 TPU Sync,用于在 Cloud TPU、主机内存、共享存储和数据中心网络之间传输 KV cache 与模型权重。

来源:MarkTechPost · marktechpost.com