跳到正文
AGI Hunt· teortaxesTex·· 2 小时前AI 评分43

Syzygy 称算力短缺是软件问题:压缩可让 GPU 利用率从 6% 提升至 90%

Syzygy 称算力短缺是软件问题:压缩可让 GPU 利用率从 6% 到 90%

AI 导读

Syzygy 称语言模型推理时的参数量与数值精度超出需求,压缩技术可让客户在已有或租用的节点上运行前沿智能。其持久化、全重叠执行方案可将典型工作流中的 GPU 有效利用率从 6% 提升至约 90%。公司预告未来几周将发布面向递归 AI 研发的一系列 GPU 原语。

来源:AGI Hunt · agihunt.info