AGI Hunt· _Stocko_·· 2 小时前AI 评分24
LLM 一眼看尽上下文:token 措辞影响 Agent 行为
LLM 是一眼看尽上下文的「风景」,你的 token 措辞影响 Agent 行为
AI 导读
作者提出,LLM 并非逐字阅读上下文,而会同时感知全部语境,其中人类的 token 尤为显眼。GPT-4o 的 o200kbase 分词器会将同一句 “Sure, ok. Go ahead.” 因大小写和拼写差异切分为 4、5 或 7 个 token,并产生不同 token ID,说明输入措辞可能显著影响与 Agent 的交互质量。
来源:AGI Hunt · agihunt.info