单张 RTX 4090 运行大模型与视频生成的显存优化方案

单张 RTX 4090 运行大模型推理与视频生成模型时，可对权重和 KV cache 采用 INT8 量化，并让解码器使用 FP8。各模块仅在对应计算阶段加载到 GPU，GPU 保留最少数据，其余数据通过 RAM 分级缓存，以降低显存占用。