跳到正文
AGI Hunt· dejavucoder·· 2 小时前AI 评分23

长上下文下 score centering 不友好:需存两个巨型张量并编写定制 kernel

长上下文下 score centering 不友好:要存两个巨型张量还得写定制 kernel

AI 导读

长上下文场景中的 score centering 对基础设施并不友好,需要存储两个巨大的 [T, K] 张量并执行逐元素相乘。该实现还要求编写定制 kernel,增加了注意力与打分环节的工程复杂度。

来源:AGI Hunt · agihunt.info