RidgeFill以免训练近似加速预填充

RidgeFill论文作者发布免训练预填充近似方法及配套推理实现；在其测试中，64K请求延迟由82.6秒降至47.5秒。该方法通过一次闭式岭回归拟合预测后续各层输入并写入缓存，从而跳算大部分上层计算。 作为近似方案，选定行、最后几千个token及每个解码步骤仍运行完整模型，不丢弃token；作者建议按模型分别调参。相关代码已提供至llama.cpp和vLLM的分支，以及Radiance引擎v1.3.0。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。