跳到正文
AGI Hunt· francoisfleuret·· 2 小时前AI 评分39

François Fleuret 发明 Transformer 注意力运算新记法

AI 导读

François Fleuret 发明了一套紧凑记法,用一行符号表示 Transformer 注意力机制与前馈层的完整张量运算。该记法以 `|` 表示权重并列拼接、以 `<` 表示矩阵或算子结合,可将整个 Transformer block 压缩为管道式表达式,引发围观讨论。

来源:AGI Hunt · agihunt.info