AGI Hunt· CatAstro_Piyush·· 2 小时前AI 评分57
免费教材《Transformers: Attention and Token Dynamics》拆解注意力与 token 动力学
免费大学级教材:从数学原理拆解 Transformer 注意力与 token 动力学
AI 导读
《Transformers: Attention and Token Dynamics》是一套免费大学级开放教材,从数学层面讲解 Transformer 架构。内容涵盖 self-attention、Q/K/V、softmax 缩放、多头注意力、位置编码、掩码语言建模及 token 动力学的证明与聚类定理,并配有 Python 代码,可搭建并在 Shakespeare 上训练迷你 BERT。
来源:AGI Hunt · agihunt.info