跳到正文
AGI Hunt· dosco·· 2 小时前AI 评分49

中学生 dosco 发布 Artisan 推理引擎,以 Metal 手写 RMSNorm 内核运行 DeepSeek-R1-Distill-Qwen-1.5B

中学生为自研推理引擎手写 Metal RMSNorm 内核,运行 DeepSeek 蒸馏模型

AI 导读

中学生 dosco 发布自研推理引擎 Artisan,用 Metal 手写 RMSNorm 内核,使 DeepSeek-R1-Distill-Qwen-1.5B 能在 Apple Silicon 上运行。项目目前仍在进行 benchmark 和优化。

来源:AGI Hunt · agihunt.info