kohya 实测 MOSS-Image Control LoRA 的 kv cache 方案

kohya 分享了 MOSS-Image Control LoRA 的 kv cache 实现，实测推理开销约为 concat 方式的一半，仅比普通推理慢 20% 左右。通过为每个 block 训练 gate，可按 block 开关 Control LoRA，将开销降至普通推理 +10% 的水平。