AGI Hunt· Teknium·· 2 小时前AI 评分35
Teknium:会话上下文超过 100K token 时,上下文检索更划算
Teknium:会话超 10 万 token 时上下文检索更划算
AI 导读
Nous Research 的 Teknium 表示,单次会话上下文超过 100K 时,现有方案成本更高,采用上限更高的 context retrieval 更划算。他考虑将其加入 Hermes,并邀请对方参加 Nous 正在举办的 plugin 黑客松,以插件形式收集真实测试数据。
来源:AGI Hunt · agihunt.info