DuoLM：紧凑编码器与排序器提升 LLM 推荐在线服务吞吐

Google DeepMind、UC Irvine 与 Oracle 研究者提出 DuoLM，用于提升 LLM 个性化推荐的在线服务吞吐。其编码器 LLM 离线学习紧凑的物品表示并供运行时复用，再配合轻量排序器与优化推理，在几乎不损失推荐质量的前提下大幅提升吞吐量。