跳到正文
AGI Hunt· ievkz·· 3 小时前AI 评分70

RTX 4070 Ti SUPER 本地 LLM 编码 Agent 实战攻略

RTX 4070 Ti SUPER 跑出 125 token/s,本地 LLM 编码 agent 实战攻略

AI 导读

作者基于 RTX 4070 Ti SUPER 搭建了达到 125 token/s 的本地 LLM 编码智能体工作流。实践包括选择 Tiel-Coder-35B-A3B 或 Cyber-Tiel-Coder,结合 MTP、MoE 和优化 Jinja chat 模板,以及使用仅需约 1500 token 的 Pi 编码智能体。

来源:AGI Hunt · agihunt.info