跳到正文
热点事件持续更新

BerriAI发布开源模型推理部署套件

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

BerriAI团队发布Inference Stack v0.1.2 preview开源部署套件,用户可通过一条安装命令自托管包含vLLM、LiteLLM、llm-d、Grafana和Prometheus的模型推理基础设施。 该套件支持Docker Compose单机部署和Kubernetes部署,运行真实模型需要NVIDIA GPU;没有GPU时,用户可在模型设置中开启simulation模式,以获得固定响应进行体验。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    BerriAI 发布 Inference Stack v0.1.2 preview 开源部署套件

    BerriAI 团队发布 Inference Stack v0.1.2 preview,通过一条命令部署包含 vLLM、LiteLLM、llm-d、Grafana 和 Prometheus 的模型推理基础设施。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。