AirLLM：不量化、不裁剪，在单张 4GB GPU 上运行 70B 大模型

AirLLM 通过按层拆分并流式加载模型，让 70B 参数语言模型在单张 4GB GPU 上运行，且无需量化、蒸馏或剪枝。对支持的 MoE 模型，它仅流式加载 router 选中的 expert。用户可通过 AutoModel 传入 Hugging Face repo ID，使用 Llama、Qwen 等主流模型系列。