AGI Hunt· andersonbcdefg·· 3 小时前AI 评分62
Resin 开源推理运行时,支持 AI 自动生成定制 LLM 推理引擎
Resin 开源推理运行时:让 AI 自动写前向传播生成定制推理引擎
AI 导读
开发者 ekzhang1 发布开源推理运行时 Resin,用 AI 智能体为指定模型和 GPU、TPU 或 AMD 硬件生成前向传播与 kernel,最终产出独立的 LLM 推理引擎。作者称该项目已持续开发一个月,并在本周完成多项功能与多种并行策略。
来源:AGI Hunt · agihunt.info