AGI Hunt· helloiamleonie·· 1 小时前AI 评分32
Liquid AI 去 causal mask,让 decoder 架构胜任决策模型
AI 导读
Liquid AI 的 Leonie 发推文梳理开源决策模型的 encoder 与 decoder 两大阵营,并披露 Liquid 新版本尝试保留 decoder 架构、去除 causal mask。作者认为,causal mask 会限制模型利用完整上下文进行决策,去除后有望让 decoder 胜任决策任务。
来源:AGI Hunt · agihunt.info