4 台 Raspberry Pi 5 组网运行 Startlux 4B 9B Instant Q40 量化模型

developer b4rtaz 展示以 4 台 Raspberry Pi 5 组网、Q40 量化运行 Startlux 4B 9B Instant 模型。该演示位于 distributed-llama v0.17.1 的 Discussion #302，每台设备配备 8GB 内存。项目将模型权重分布到多台低功耗设备上，展示了低端硬件协同运行 LLM 的可行性。