AGI Hunt· _reachsumit·· 1 小时前AI 评分57
RecoGEM 论文:生成式推荐服务系统上线九个月,单实例超 1,000 QPS
RecoGEM:生成式推荐生产级服务系统,千级 QPS 已上线九个月
AI 导读
RecoGEM 是一套生产级生成式推荐服务系统,已上线 9 个多月,支持 10+ 个生成式推荐模型家族。系统将运行时与执行引擎解耦,利用序列短、候选量大和步长形状可预测等特征优化执行,在 OneModel 生产负载下单实例吞吐量超过 1,000 QPS。
来源:AGI Hunt · agihunt.info