Liquid AI在决策模型中解除因果掩码

Liquid AI 讲解其决策模型的核心设计，即在 decoder 架构中解除因果掩码，让模型能够查看完整上下文。双向注意力在这一场景下优于因果注意力，但也引入了模型过度自信的问题。

Liquid AI 的 Leonie 发推文梳理开源决策模型的 encoder 与 decoder 两大阵营，并披露 Liquid 新版本尝试保留 decoder 架构、去除 causal mask。作者认为，causal mask 会限制模型利用完整上下文进行决策，去除后有望让 decoder 胜任决策任务。