RTX 3090无头服务器配置求助

用户 NighthawkXL 以1100美元购入24GB EVGA RTX 3090 FTW3，计划将其装入现有的5600X、64GB DDR4 Ubuntu Server无头服务器，充当局域网助手流水线和编码推理的API后端，以解决RTX 4070 12GB无法承载可用上下文窗口的问题。 他向社区征求适用于24GB显存的编码及老游戏逆向模型建议，要求权重约20—22GB并预留KV cache空间、支持32k—128k上下文；同时询问可按需切换模型的容器化后端或runner，以及如何避免推理任务挤占宿主机上的Jellyfin、AdGuard等服务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。