Dense Associative Memory以少量样本学习LDPC码字空间
热点事件持续更新
Dense Associative Memory以少量样本学习LDPC码字空间
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Dima Krotov分享的研究结果显示，Dense Associative Memory在训练时不提供码字生成算法的情况下，仅用约10至20个样本，就能学习规模为2^n的LDPC码字空间；文中以n=100为例，即覆盖约2^100个码字。 该模型理论上只需log(n)量级样本即可掌握全部2^n个码字，且在P≈16附近出现码字数量估计值相变式跃升。Krotov将这一现象与大模型“顿悟”和扩散模型由记忆转向泛化相联系。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 21:15
Dense Associative Memory 仅用 10-20 个样本自学 2^100 个 LDPC 码字报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI HuntDense Associative Memory 仅用 10-20 个样本自学 2^100 个 LDPC 码字
Dense Associative Memory 仅用约 10-20 个训练样本，便能学会整个 2^100 规模的 LDPC 码字空间，且训练时不提供码字生成算法。理论上只需 log(n) 量级样本即可掌握全部 2^n 个码字，配图显示码字数量 k̂ 在 P≈16 附近出现相变式跃升。该现象与 LLM 的 grokking 及扩散模型从记忆到泛化的转变相关。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。