跳到正文
热点事件持续更新

SauerkrautLM-MoE三档稀疏检索器开源

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

VAGOsolutions开源SauerkrautLM-MoEdernColBERT系列,提供1.5M、27M和115M三档late-interaction MoE稀疏检索器,采用Apache 2.0协议,并附GGUF与CoreML构建。 该系列每个token由路由器从8个GeGLU专家中选择2个,并结合1个共享专家;115M版本总参数为114.6M,每次推理激活其中67.4M参数。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. AGI Hunt
    SauerkrautLM 发布 1.5M、27M 和 115M 三档 MoE 稀疏检索器

    VAGOsolutions 开源 SauerkrautLM-MoEdernColBERT 系列,提供 1.5M、27M 和 115M 三个规模的 late-interaction MoE 检索器,并附 Apache 2.0 协议、GGUF 与 CoreML 构建。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。