跳到正文
AGI Hunt· siwu·· 1 天前AI 评分67

zml/llmd 推理服务器发布:单引擎支持 NVIDIA/AMD/TPU/Metal,镜像最小 142MB

zml/llmd 推理服务器发布:单引擎支持 NVIDIA/AMD/TPU/Metal,镜像最小仅 142MB

AI 导读

zml 团队发布通用推理服务器 zml/llmd(版本 llmd-20261106.0),宣称是当前最快的推理引擎之一,同一引擎可跨 NVIDIA、AMD、Intel、TPU 和 Metal 运行。

来源:AGI Hunt · agihunt.info