iamtrask 用巨型预测矩阵类比解释 LLM 在学什么

iamtrask 提出用巨型预测矩阵类比解释 LLM 的学习目标，认为模型是在稀疏存储的矩阵中补全百万 token 上下文窗口内的下一个 token 分布。矩阵的行对应所有可能的 token 组合，列则对应下一个 token，为 LLM 训练提供了一种直觉化理解。