跳到正文
AGI Hunt· tomaarsen·· 4 小时前AI 评分54

LightOn 开源 174M SlideOn SAE 稀疏检索模型

LightOn 开源 SlideOn:SAE 稀疏检索模型 174M 反超稠密版

AI 导读

LightOn 发布并开源 174M 参数的 SlideOn 稀疏检索模型,以 SAE 将 DenseOn 改造成输出 32768 维非负稀疏向量的检索模型。SlideOn 在 BEIR-15 上取得 56.68 nDCG@10,高于 DenseOn 的 56.20,并支持剪枝后无需重训调整搜索与存储成本;多语言版本 mSlideOn 面向长上下文与代码检索。

来源:AGI Hunt · agihunt.info