本地模型推理为何低效：内存搬运开销约为计算的 100 倍

本地模型推理的低效源于权重需从内存搬运至处理器，相关开销约为推理计算本身（FLOPs）的 100 倍。若 100 个用户共享同一份权重，只需搬运一次并执行 100 次计算，成本可降低约 50 倍，这解释了批处理和云端推理在成本上的优势。