跳到正文
AGI Hunt· gnukeith·· 1 小时前AI 评分22

本地 AI 社区吐槽:大模型塞进单卡却仅支持 256 tokens 上下文

开发者吐槽本地圈:大模型塞进单卡却只给 256 上下文

AI 导读

gnukeith 吐槽本地 AI 社区部分玩法华而不实:有人宣称将大模型塞进单张 GPU,实际却只能运行 256 tokens 的上下文窗口。他以“装下一句话就得压缩”讽刺社区为追求模型塞入量而牺牲实际可用性的炫耀式量化。

来源:AGI Hunt · agihunt.info