跳到正文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分43

研究员点评 Zyphra 分层注意力 ZHA:原理扎实,或让保密的次二次注意力实验室出局

研究员点评 ZHA:原理扎实,或让保密的次二次注意力实验室出局

AI 导读

研究员 teortaxesTex 评价 Zyphra 发布的分层注意力(ZHA),称其以层级树实现真正的次二次注意力,方向合理、原则性强,并表示若属实将「吹垮那些保密研发次二次注意力的实验室」。ZHA 官方宣称在超长上下文场景下提速最高 400 倍,该帖是对官方发布原文的补充评论。

来源:AGI Hunt · agihunt.info