跳到正文
AGI Hunt· cfregly·· 3 小时前AI 评分57

top-k 采样图解:保留最高分两项并重新归一化概率

图解 top-k 采样:保留最高分两项,Lori 73% 对 Alice 27%

AI 导读

cfregly 用同一系列示例图解 top-k 采样,对候选打分后仅保留 Lori 和 Alice,并过滤 Neither。重新归一化概率后,模型这一次抽中了 Alice,显示 top-k 会改变生成的随机性分布。

来源:AGI Hunt · agihunt.info