Late Interaction：LLM 开始直接生成神经网络权重，梯度下降会被取代吗？

Late Interaction 提出，LLM 已开始原生推理并直接生成神经网络权重，挑战仅依赖提示词、harness 和代码优化的传统路径。该观点推测，极限情况下梯度下降等符号化局部优化启发式方法的地位可能被削弱，但目前未提供具体实验或数据。