RTX 4090 单卡大模型推理方案：INT8 权重 + FP8 解码 + RAM 分级缓存

AIFlowML 总结了在 RTX 4090 上运行大模型推理的分级缓存方案：INT8 存储权重与 KV cache，FP8 解码，各模块仅在计算阶段移入 GPU。GPU 仅保留 18 帧 latent 历史帧，其余归档至系统内存；帖中还链接模型卡、代码与演示视频，供消费级单卡视频模型本地部署参考。