跳到正文
AGI Hunt· bodonoghue85·· 2 小时前AI 评分56

Jev 用 EmbeddingGemma2 构建实时端点,文本延迟约 20ms、图像约 100ms

用 EmbeddingGemma2 搭 20ms 实时端点:文本 20ms、图像 100ms

AI 导读

开发者 mmastrac 展示 Jev 项目的新进展,以 Google 的 EmbeddingGemma2 构建实时 /v1/systemone 端点,文本延迟约 20ms,图像延迟约 100ms。该方案支持实时训练,可从上游教师模型蒸馏,并默认支持多模态。

来源:AGI Hunt · agihunt.info