团队提出数据受限扩展定律
热点事件持续更新
团队提出数据受限扩展定律
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
industriaalist 团队发布研究，提出适用于数据受限情形的大语言模型扩展定律和学习算法，称现有大模型严重欠参数化。该研究是理论提案与外推，尚非训练结果。 研究估算，在5万亿 token、10^29次浮点运算的条件下，所需参数量约为Chinchilla法则对应估计的7000倍，并据此推测模型参数规模可能达到千万亿级。团队同时认为，若要训练这类模型，需要重新设计学习算法的各个环节。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 05:47
新 scaling law：数据受限下 LLM 参数规模或达千万亿级报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI Hunt新 scaling law：数据受限下 LLM 参数规模或达千万亿级
industriaalist 团队发布新研究，提出数据受限 scaling law 与学习算法，认为 LLM 严重欠参数化。研究外推到千万亿级 transformer：在 5T token、10^29 FLOPs 下，定律要求的参数量约为 Chinchilla 法则的 7000 倍，团队同时指出训练此类模型需重新设计学习算法的每个环节。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。