AGI Hunt· VoidAsuka·· 34 分钟前AI 评分68
Resin 开源 LLM 推理运行时,用 AI 生成独立推理引擎
Resin 开源推理运行时:AI 写前向传播即可生成独立推理引擎
AI 导读
Resin 开源了一个 LLM 推理运行时,让 AI agent 为目标模型与 GPU/TPU/AMD 硬件编写前向传播和 kernel,生成独立推理引擎。该项目将调度、KV 管理和并行等通用能力封装为可复用组件,开发者用一个月完成首版,并通过 ModelState、hooks 支持 diffusion LLM、encoder-decoder 等架构。
来源:AGI Hunt · agihunt.info