AGI Hunt· ReportProfessional57·· 53 分钟前AI 评分50
Project Genesis:CUDA 几何协处理器宣称推理延迟降低 16%-30%
Project Genesis:CUDA 几何协处理器宣称推理延迟降 16%-30%
AI 导读
Reddit 用户发布 Project Genesis:一款约 0.51MB 的 C++/CUDA 几何协处理器运行时,可以内联方式挂载到现有因果语言模型,不改动宿主模型权重。作者称在消费级 NVIDIA Blackwell GPU 上测试多个模型检查点后,端到端延迟下降 16%-30%、内存开销为 O(1);运行时已在 Hugging Face 开放非商业/研究用途下载。
来源:AGI Hunt · agihunt.info