跳到正文
热点事件持续更新

Perplexity重排模型追平Mixedbread

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究者 antoine_chaffin 实测称,Perplexity 的 pplx-decider-v1.2 在30篇文档短名单重排任务中追平 Mixedbread v3.1 listwise reranker:在 SciFact、NFCorpus、FiQA 上平均 nDCG@10 为0.511,与 Mixedbread 的配对差异为+0.0001,统计上不可区分,并比 Jev batch 高0.010。 成本方面,9月最佳重排方案约需1.42美元/千次查询,Perplexity 当前报价为0.20美元,Mixedbread 降至约0.27美元。此前嵌入模型研究者 bclavie 曾称 mixedbread 与 Perplexity 的 decider 模型明显领先其他参评模型,同时提醒 BEIR 的部分成绩不能代表全领域表现,应按任务选择评测方式。

AI 根据报道生成 · 2 小时前更新

事件进展

2 个进展

  1. 10月27日 20:11 · 1 篇报道
    嵌入模型研究者提醒:别只看 BEIR,mixedbread 与 Perplexity 的 decider 模型明显更领先
    AGI Hunt:嵌入模型研究者提醒:别只看 BEIR,mixedbread 与 Perplexity 的 decider 模型明显更领先
  2. 10月27日 20:05 · 1 篇报道
    公布Perplexity决策模型重排实测
    AGI Hunt:Perplexity pplx-decider-v1.2 重排评测追平 Mixedbread v3.1,月成本降八成

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    嵌入模型研究者提醒:别只看 BEIR,mixedbread 与 Perplexity 的 decider 模型明显更领先

    嵌入模型研究者 bclavie 提醒,评测检索模型时不要只看 BEIR 基准,而应参考更好的评测集。在相关评测中,mixedbread 和 Perplexity 的 decider 模型明显领先榜单上的其他选手。他还暗示后续还有值得关注的内容。

  2. AGI Hunt
    Perplexity pplx-decider-v1.2 重排评测追平 Mixedbread v3.1,月成本降八成

    Perplexity 的 pplx-decider-v1.2 在 30 篇文档短名单重排任务中追平 Mixedbread v3.1 listwise reranker。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。