“私有亚二次方注意力”项目再引质疑：Transformer 加少量额外权重或已足够

teortaxesTex 评论一个新的“私有亚二次方复杂度”项目，质疑此类线性或亚二次方注意力改进的质量。其核心观点是，这类方案或只需在已预训练的 Transformer 上加入少量额外权重，无需另起炉灶。