跳到正文
AGI Hunt· AccBalanced·· 3 小时前AI 评分27

推理服务商从业者:推理服务是一门手艺,许多 provider 撑不下去

推理服务商从业者:这是门手艺,很多 provider 撑不下去

AI 导读

推理服务商从业者认为,推理模型不是即插即用的家电,而是一门需要工程经验的手艺,许多推理服务商将因此出局。缺乏 DeepSeek 级 KV-cache 管理的厂商难以生存,团队还必须将工程投入映射到财务模型,并掌握关键诀窍。

来源:AGI Hunt · agihunt.info