研究者称上下文塞满噪声对 LLM 是真实困难

repligate 与 @EpistemicHope 探讨人类休息的价值及 Transformer 是否存在类似机制。repligate 从信息论角度指出，当 LLM 的上下文被大量噪声和需跟踪信息填满时，模型确实会面临「货真价实的困难」，休息的价值或可据此解释。