dotey分享主会话与Thread调度架构
热点事件持续更新
dotey分享主会话与Thread调度架构
1 篇报道1 个报道来源54 分钟前更新
先了解这件事
AI 综述
dotey分享了一套主会话搭配Thread的模型调度与Prompt Caching方案,主会话使用Sonnet级别模型负责甄别、路由和调度,再按子任务难度交给Opus等更强模型,以减少主会话消耗的token。 为优化Prompt Caching,他建议主会话缓存失效后仅发送近期消息,并通过Session检索补齐上下文;Thread类会话则可在1小时缓存期的第50分钟主动压缩上下文。该方案是dotey针对单主会话耗额度问题提出的实践建议。
AI 根据报道生成 · 43 分钟前更新
最新进展11月16日 10:59
宝玉详解主会话加 Thread 架构:弱模型调度强模型并优化 Prompt Caching报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI Hunt宝玉详解主会话加 Thread 架构:弱模型调度强模型并优化 Prompt Caching
dotey 分享了主会话加 Thread 的省 token 架构,主会话用 Sonnet 级别弱模型负责甄别、路由和调度,子任务按难度交给 Opus 等强模型。针对 Prompt Caching,他建议主会话缓存失效后只发送最近消息并用 Session 检索补齐上下文,Thread 类会话则在 1 小时缓存的第 50 分钟主动压缩上下文。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。