跳到正文
热点事件持续更新

长上下文使 score centering 实现复杂

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

在长上下文场景中,score centering 需要同时保存两个形状为 [T, K] 的巨型张量,并执行逐元素相乘;相关实现还要编写定制 kernel,增加了注意力与打分环节的工程复杂度。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    长上下文下 score centering 不友好:需存两个巨型张量并编写定制 kernel

    长上下文场景中的 score centering 对基础设施并不友好,需要存储两个巨大的 [T, K] 张量并执行逐元素相乘。该实现还要求编写定制 kernel,增加了注意力与打分环节的工程复杂度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。