动态稀疏网络以少量连接超过稠密网络

一项动态稀疏训练研究让神经网络在学习过程中交替进行类似睡眠的剪枝与再生，使用不到 10% 的突触便取得优于稠密网络的性能。该方法还形成类似大脑皮层的连接基元，并在多任务学习上表现更好。

dlevenstein 介绍其实验室的“动态稀疏训练”研究，网络在学习过程中交替进行常规学习与类似睡眠阶段的剪枝和突触再生。实验显示，仅使用不到 10% 突触的稀疏网络性能超过全连接的稠密网络，呈现受生物启发方法在效率与效果上的潜力。