vLLM开源System Duo语义路由

vLLM项目团队发布并开源System Duo语义路由项目，由Xunzhuo Liu与Semantic Router团队打造，按任务复杂度在快慢双系统间分流：System One负责分诊、安全护栏和校验等简单判断，需要深度推理时由System Two选择模型并分配推理力度。 该项目全部开源，基于vLLM运行，并提供托管API（app.vllm-sr.ai）；首批调用可免费领取key，当前标注为research use only。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。