Yacine预测小模型终将超越大模型

Yacine 为“小模型将超越大模型”的预测补充论据，认为 bitter lesson 意味着小模型终将胜出。他指出，小模型扩展性更好、并行化程度更高，更契合依赖算力与搜索的通用方法终将胜过依赖人类知识精巧设计的规律。

Yacine 预测，更小的模型将开始超越更大的模型，其理由是 bitter lesson 表明小模型具有更好的扩展性和并行化能力。这一判断与蒸馏、高效架构等“小而精”模型在多项任务上逼近甚至超越旗舰大模型的趋势相呼应。