跳到正文
AGI Hunt· xiaosun86·· 2 小时前AI 评分25

模型价值等于省下的条件熵:世界越乱,模型公司越难赚钱

AI 导读

作者以信息论框架定义模型发布的影响力,将其视为模型帮助用户补全认知时消除的条件熵。若世界变化加快、信息混乱导致先验熵快速上升,模型可消除的熵占比将缩小,模型公司因而面临逆风。文章还介绍 mechanistic shaping:在选定层计算概念方向向量 vt,以 λ 倍依赖惩罚项抑制不想要概念,并随表征漂移周期性重算方向。

来源:AGI Hunt · agihunt.info