跳到正文
AGI Hunt· francoisfleuret·· 3 小时前AI 评分30

François Fleuret 提问:因果注意力中的信息不对称为何不是问题

Fleuret 提问:因果注意力为何不对称的信息 enriched 不是问题

AI 导读

François Fleuret 就 Transformer 因果结构中的信息不对称提出问题:在处理“The cat hunts the mouse”时,“猫”的 embedding 能获得“被猫捕猎”的信息,而“老鼠”的 embedding 无法对称地获得“正在捕猎老鼠”的信息。他追问为何这一现象在实践中似乎并不构成问题,相关讨论聚焦因果注意力的单向信息流动。

来源:AGI Hunt · agihunt.info