AGI Hunt· ievkz·· 3 小时前AI 评分70
RTX 4070 Ti SUPER 本地 LLM 编码 Agent 实战攻略
RTX 4070 Ti SUPER 跑出 125 token/s,本地 LLM 编码 agent 实战攻略
AI 导读
作者基于 RTX 4070 Ti SUPER 搭建了达到 125 token/s 的本地 LLM 编码智能体工作流。实践包括选择 Tiel-Coder-35B-A3B 或 Cyber-Tiel-Coder,结合 MTP、MoE 和优化 Jinja chat 模板,以及使用仅需约 1500 token 的 Pi 编码智能体。
来源:AGI Hunt · agihunt.info