AGI Hunt· _reachsumit·· 1 小时前AI 评分34
OptST:让冻结语义分词器适配下游推荐的低秩变形与按需 token 深度
OptST:让冻结语义分词器适配下游推荐,低秩变形+按需 token 深度
AI 导读
OptST 提出让冻结语义分词器适配下游推荐任务的两阶段生成式推荐方案,包含低秩变形与锚点正则,在不更新预训练编码器和基础码本的前提下学习受约束的 token 分配调整。其直通估计器让推荐监督穿过离散分配进行训练,预测时保留硬性最近邻分配,并按交互难度选择暴露的语义 token 数量。
来源:AGI Hunt · agihunt.info