跳到正文
AGI Hunt· antoine_chaffin·· 2 小时前AI 评分29

sentence-transformers 维护者实验:token pooling 与嵌入量化、Matryoshka 表示学习组合效果出色

token pooling 与嵌入量化、Matryoshka 组合使用效果出色

AI 导读

sentence-transformers 维护者分享实验结果:token pooling 与(非对称)嵌入量化组合效果很好,并可兼容 Matryoshka 表示学习。较大的骨干模型可采用 64 的池化且损失不大,但小骨干模型不适用;Matryoshka 损失更大,但对原生维度远大于 128 的模型效果不错。

来源:AGI Hunt · agihunt.info