给定固定的 FLOPs 预算，应该如何权衡模型大小和训练 token 的数量？DeepMind 得出了与先前不同的结论。

最近一系列大型语言模型 (LLM) 正在崛起，其中最大的语言模型已经拥有超过 5000 亿个参数。这些大型自回归 transformer 通过使用各种评估协议（例如零样本、少样本和微调），在许多任务中表现出令人印象深刻的性能。
然而训练大型语言模型需要消耗巨大的计算和能源，并且这种消耗随着模型的增加而增加。在实践中，研究者事先分配的训练计算预算通常是预先知道的：有多少加速器可用以及我们想要使用它们多长时间。通常这些大模型只训练一次是可接受的，因此准确估计给定计算预算的最佳模型超参数至关重要。
Kaplan 等人研究 (2020) 表明，自回归语言模型 (LM) 中的参数数量与其性能之间存在幂律关系。结果是该领域一直在训练越来越大的模型，期望性能得到改善。Kaplan 等人(2020) 得出的一个值得注意的结论是，不应该将大型模型训练到其可能的最低损失，以获得计算的最佳化。
来自 DeepMind 的研究者得出了相同的结论，但他们估计大型模型可以训练的 token 数应该比作者推荐的更多。具体来说，假设计算预算增加 10 倍，其他研究者建议模型的大小应该增加 5.5 倍，而训练 token 的数量应该只增加 1.8 倍。相反，DeepMind 发现模型大小和训练 token 的数量应该以相等的比例扩展。

论文地址：https://arxiv.org/pdf/2203.15556.pdf
继 Kaplan 等人和 GPT-3 的训练设置研究之后，近期大型模型的训练 token 大约为 3000 亿个（表 1），这与增加算力时，主要采用增加模型大小结论一致。

在这项工作中，DeepMind 重新审视了这个问题：给定固定的 FLOPs 预算，应该如何权衡模型大小和训练 token 的数量？为了回答这个问题，DeepMind 将最终的预训练损失

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们