AGI Hunt· francoisfleuret·· 3 小时前AI 评分30
François Fleuret 提问:因果注意力中的信息不对称为何不是问题
Fleuret 提问:因果注意力为何不对称的信息 enriched 不是问题
AI 导读
François Fleuret 就 Transformer 因果结构中的信息不对称提出问题:在处理“The cat hunts the mouse”时,“猫”的 embedding 能获得“被猫捕猎”的信息,而“老鼠”的 embedding 无法对称地获得“正在捕猎老鼠”的信息。他追问为何这一现象在实践中似乎并不构成问题,相关讨论聚焦因果注意力的单向信息流动。
来源:AGI Hunt · agihunt.info