Hacker News·· 2 小时前精选AI 评分80
作者用编码智能体构建 FPGA 上的 LLM 推理系统
Vibecoding an Inference Chip
AI 导读
作者借助编码智能体在 AWS F2 FPGA 实例上运行采用三值权重的 LLM,并通过多轮自动实验将推理速度从 6.43 tokens/s 提升至 213.13 tokens/s,达到基线的 33.13 倍。整个实验累计生成约 3M 行代码、解析 30M 行输出并消耗约 $10,000 的 Claude 和 OpenAI tokens,最终在 8,192-token 上下文下完成推理。
推荐理由
文章完整拆解智能体开发 FPGA 推理的迭代过程、正确性验证与性能数据,为类似硬件实验提供可参考的协作方式。
来源:Hacker News · ankitg.me