spinf-serve 0.1 开源发布，面向批量分类与决策推理

spinf-serve 发布 0.1 版本，在单次读取内容后并行完成多分类、决策与抽取推理。项目以 Apache 2.0 开源，支持 OpenAI 兼容 API 和托管或自托管部署，可在单张 24 GB NVIDIA GPU 上运行 Gemma 4 12B。其基准测试显示，每秒可回答 491 个问题，而带前缀缓存的 vLLM 0.26 为 200 个。