跳到正文
热点事件持续更新

dotey分享主会话与Thread调度架构

1 篇报道1 个报道来源54 分钟前更新

先了解这件事

AI 综述

dotey分享了一套主会话搭配Thread的模型调度与Prompt Caching方案,主会话使用Sonnet级别模型负责甄别、路由和调度,再按子任务难度交给Opus等更强模型,以减少主会话消耗的token。 为优化Prompt Caching,他建议主会话缓存失效后仅发送近期消息,并通过Session检索补齐上下文;Thread类会话则可在1小时缓存期的第50分钟主动压缩上下文。该方案是dotey针对单主会话耗额度问题提出的实践建议。

AI 根据报道生成 · 43 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    宝玉详解主会话加 Thread 架构:弱模型调度强模型并优化 Prompt Caching

    dotey 分享了主会话加 Thread 的省 token 架构,主会话用 Sonnet 级别弱模型负责甄别、路由和调度,子任务按难度交给 Opus 等强模型。针对 Prompt Caching,他建议主会话缓存失效后只发送最近消息并用 Session 检索补齐上下文,Thread 类会话则在 1 小时缓存的第 50 分钟主动压缩上下文。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。