AGI Hunt· AccBalanced·· 1 小时前AI 评分70
BerriAI 发布 Inference Stack v0.1.2 preview 开源部署套件
Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶
AI 导读
BerriAI 团队发布 Inference Stack v0.1.2 preview,通过一条命令部署包含 vLLM、LiteLLM、llm-d、Grafana 和 Prometheus 的模型推理基础设施。
来源:AGI Hunt · agihunt.info