跳到正文
AGI Hunt· DanielLockyer·· 3 小时前AI 评分44

DanielLockyer 优化文本分块算法,最坏延迟从 37.1 秒降至 585 毫秒

文本分块算法再优化:最坏延迟从 37.1 秒压到 585 毫秒

AI 导读

DanielLockyer 展示本周文本分块性能改进,将最坏情况下的分块耗时从 37.1 秒压缩至 585 毫秒,整体约提升 60 倍。英文文本采用 3 字符分块、10,664 token 上限时由 13.7s 降至 287ms,中文文本采用 2 字符分块、2,666 token 上限时由 211ms 降至 13ms。

来源:AGI Hunt · agihunt.info