Spinf开源批量推理服务器
热点事件持续更新
Spinf开源批量推理服务器
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Spinf发布并以Apache 2.0协议开源spinf-serve 0.1，可在单次读取内容后并行完成多分类、决策与抽取推理。服务器提供与托管版Spinf API兼容的OpenAI接口，支持托管或自托管；自托管需Linux、NVIDIA 24 GB且具备FP8张量核心的GPU，以及对应CUDA 13驱动和Python 3.12。 项目方称，在单张24 GB NVIDIA GPU上运行Gemma 4 12B时，spinf-serve每秒可回答491个问题，高于带前缀缓存的vLLM 0.26所列每秒200个。该性能数字来自项目方基准测试。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 01:03
spinf-serve 0.1 开源发布，面向批量分类与决策推理报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- Hacker Newsspinf-serve 0.1 开源发布，面向批量分类与决策推理
spinf-serve 发布 0.1 版本，在单次读取内容后并行完成多分类、决策与抽取推理。项目以 Apache 2.0 开源，支持 OpenAI 兼容 API 和托管或自托管部署，可在单张 24 GB NVIDIA GPU 上运行 Gemma 4 12B。其基准测试显示，每秒可回答 491 个问题，而带前缀缓存的 vLLM 0.26 为 200 个。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。