AGI Hunt· tomaarsen·· 4 小时前AI 评分54
LightOn 开源 174M SlideOn SAE 稀疏检索模型
LightOn 开源 SlideOn:SAE 稀疏检索模型 174M 反超稠密版
AI 导读
LightOn 发布并开源 174M 参数的 SlideOn 稀疏检索模型,以 SAE 将 DenseOn 改造成输出 32768 维非负稀疏向量的检索模型。SlideOn 在 BEIR-15 上取得 56.68 nDCG@10,高于 DenseOn 的 56.20,并支持剪枝后无需重训调整搜索与存储成本;多语言版本 mSlideOn 面向长上下文与代码检索。
来源:AGI Hunt · agihunt.info