LLM 网关如何提前发现供应商宕机并避免探针漏报

一位 LLM 网关开发者因两次漏报供应商故障，向社区征求告警策略经验。其合成探针只覆盖固定请求路径，因此探针全绿时真实用户仍可能报错；可行方案是按供应商监控真实流量的错误率和延迟分位数，并将探针作为兜底，但告警阈值仍需权衡误报与延迟。