ChatGPT 的学习公式源自 1847 年：柯西为计算行星轨道发明梯度下降

ChatGPT 所依赖的现代神经网络核心训练公式 w ← w − η∇L（梯度下降），源自柯西 1847 年为更快计算天体运动而发明的方法。该方法以“浓雾中下山”比喻训练过程：看不见谷底时感受坡度，每次沿最陡下坡方向更新参数。如今，同一公式被用于训练机器学习模型，使神经网络能够学习写作等能力。