AGI Hunt· xiaosun86·· 2 小时前AI 评分25
模型价值等于省下的条件熵:世界越乱,模型公司越难赚钱
AI 导读
作者以信息论框架定义模型发布的影响力,将其视为模型帮助用户补全认知时消除的条件熵。若世界变化加快、信息混乱导致先验熵快速上升,模型可消除的熵占比将缩小,模型公司因而面临逆风。文章还介绍 mechanistic shaping:在选定层计算概念方向向量 vt,以 λ 倍依赖惩罚项抑制不想要概念,并随表征漂移周期性重算方向。
来源:AGI Hunt · agihunt.info