跳到正文
AGI Hunt· dotey·· 1 小时前AI 评分68

宝玉详解主会话加 Thread 架构:弱模型调度强模型并优化 Prompt Caching

宝玉详解主会话+Thread 架构:弱模型调度、强模型干活、玩转 Prompt Caching

AI 导读

dotey 分享了主会话加 Thread 的省 token 架构,主会话用 Sonnet 级别弱模型负责甄别、路由和调度,子任务按难度交给 Opus 等强模型。针对 Prompt Caching,他建议主会话缓存失效后只发送最近消息并用 Session 检索补齐上下文,Thread 类会话则在 1 小时缓存的第 50 分钟主动压缩上下文。

来源:AGI Hunt · agihunt.info