Dense Associative Memory 仅用 10-20 个样本自学 2^100 个 LDPC 码字

Dense Associative Memory 仅用约 10-20 个训练样本，便能学会整个 2^100 规模的 LDPC 码字空间，且训练时不提供码字生成算法。理论上只需 log(n) 量级样本即可掌握全部 2^n 个码字，配图显示码字数量 k̂ 在 P≈16 附近出现相变式跃升。该现象与 LLM 的 grokking 及扩散模型从记忆到泛化的转变相关。