跳到正文
热点事件持续更新

LightOn开源SlideOn稀疏检索模型

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

LightOn发布并开源174M参数的SlideOn稀疏检索模型,采用稀疏自编码器将DenseOn改造成输出32768维非负稀疏向量的模型;据LightOn披露,SlideOn在BEIR-15上的nDCG@10为56.68,高于DenseOn的56.20,并兼容倒排索引检索,剪枝后可在无需重训的情况下调整搜索和存储成本。 SlideOn的模型、SAE初始化、训练数据配方和评测均以Apache-2.0许可证开放。LightOn同时推出多语言版本mSlideOn,该版本基于mLateOn,面向长上下文和代码检索,支持英语、法语、德语、意大利语、西班牙语和葡萄牙语。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. AGI Hunt
    LightOn 开源 174M SlideOn SAE 稀疏检索模型

    LightOn 发布并开源 174M 参数的 SlideOn 稀疏检索模型,以 SAE 将 DenseOn 改造成输出 32768 维非负稀疏向量的检索模型。SlideOn 在 BEIR-15 上取得 56.68 nDCG@10,高于 DenseOn 的 56.20,并支持剪枝后无需重训调整搜索与存储成本;多语言版本 mSlideOn 面向长上下文与代码检索。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。