大规模语言模型训练中的效率追求
对更大、更强语言模型的不懈追求带来了一个迫切的需求：效率。训练这些庞然大物不仅需要强大的计算能力，还需要复杂的技术，从每一瓦特和每一秒中榨取最大的性能。优化算法是驱动学习过程的引擎，绝对至关重要。它们决定了具有数十亿甚至数万亿参数的模型能够以多快的速度和效率收敛到最佳性能状态。虽然像 AdamW 这样的优化器已成为行业主力，但它们对细致超参数调整的需求以及对计算资源的贪婪胃口，促使人们寻找更精简的替代方案。最终目标？一种优化器，可提供坚如磐石的训练稳定性，同时大幅降低计算负担。
现有优化技术的局限性
训练大型语言模型的核心挑战在于计算需求的庞大规模。随着模型的增长，每次迭代需要更新的参数数量呈爆炸式增长。许多现有的优化器虽然在较小的环境中有效，但在这种巨大的压力下开始步履蹒跚。它们变得效率低下，需要不断的调整和微调，从而延长了训练时间。此外，稳定性问题可能会悄然出现，表现为不稳定的更新，从而降低模型的性能。因此，一个真正有效的解决方案必须同时解决效率和稳定性问题，确保平稳可靠的训练，而无需过多的计算能力或无休止的手动参数调整。
例如，广泛使用的 Adam 和 AdamW 优化器依赖于自适应学习率和权重衰减来微调模型性能。这些方法已在各种应用中证明了它们的价值。然而，随着模型规模的扩大，它们的有效性会降低。与这些优化器相关的计算开销急剧增加，使得它们对于真正的大规模训练工作效率低下。这推动了一项充满活力的研究工作，重点是识别和开发替代优化器。这些新方法旨在提供卓越的性能和效率，理想情况下消除对费力的超参数调整的需求，同时实现稳定和可扩展的结果。
Muon：专为可扩展性设计的新型优化器
Moonshot AI 的研究人员与 UCLA 合作，推出了 Muon，这是一种专门设计的优化器，旨在克服现有方法在大型训练场景中的局限性。虽然 Muon 最初在较小规模的模型中表现出令人印象深刻的性能，但在扩展到处理语言模型世界的巨头时遇到了障碍。为了应对这些挑战，研究人员实施了两项关键技术。
首先，他们结合了权重衰减，这是一种正则化技术，有助于防止过拟合并增强训练稳定性。其次，他们引入了一致的均方根 (RMS) 更新。这确保了对所有参数的调整都是统一应用的，无论其大小如何。这种统一性对于在大型语言模型的广阔参数空间中保持平衡学习至关重要。这些增强功能使 Muon 能够高效运行，而无需进行大量的超参数调整。这种“开箱即用”的特性使其成为训练大型模型的理想选择，显著减少了设置和配置开销。
Moonlight：在专家混合模型中利用 Muon 的力量
基于 Muon 中体现的进步，研究人员开发了 Moonlight，这是一种专家混合 (MoE) 模型。Moonlight 有两种配置：30 亿参数版本和更强大的 160 亿参数版本。两者都在一个包含惊人的 5.7 万亿个 token 的庞大数据集上进行了训练。Moonlight 利用 Muon 来优化其性能，同时最大限度地降低计算成本。
为了进一步提高效率，开发了 Muon 的分布式版本，采用了 ZeRO-1 风格的优化策略。这种方法通过将优化器状态分布在多个设备上来显著提高内存效率。它还最大限度地减少了通信开销，这是大规模分布式训练中的一个关键因素。这些改进最终实现了非常稳定的训练过程。与类似规模的先前模型相比，Moonlight 以显著降低的计算足迹实现了最先进的性能。
性能基准测试：Moonlight 胜过竞争对手
严格的性能评估表明，Moonlight 始终优于现有同等规模的最先进模型。这包括广受好评的模型，如 LLAMA3-3B 和 Qwen2.5-3B。探索模型大小、数据和性能之间关系的缩放定律实验揭示了 Muon 的一个显著优势：它的样本效率大约是 Adam 的两倍。这意味着在训练所需的浮点运算 (FLOP) 数量上大幅减少，同时仍然实现了具有竞争力的结果。
Moonlight 的实力扩展到各种基准任务。在 MMLU（大规模多任务语言理解）基准测试中，它取得了 70.0 的惊人分数，显著超过了 LLAMA3-3B（54.75）和 Qwen2.5-3B（65.6）。在更专业的基准测试中，例如 MMLU-pro 和 BBH (Big-Bench Hard)，Moonlight 分别获得了 42.4 和 65.2 分，进一步突出了其增强的功能。该模型还在 TriviaQA（一个问答基准测试）中表现出强大的性能，得分为 66.3，优于所有同类模型。
代码生成和数学推理：展示多功能性
Moonlight 的能力不仅限于自然语言理解和问答。它在与代码相关的任务中也表现出色。在 HumanEval（一个旨在评估代码生成能力的基准测试）中，它获得了 48.1 分。在 MBPP（大多数基本编程问题），另一个代码生成基准测试中，它获得了 63.8 分。这些结果证明了它在生成功能代码方面的熟练程度，优于具有类似参数数量的其他模型。
在数学推理领域，Moonlight 展示了其卓越的解决问题能力。它在 GSM8K（小学数学 8K），一个由小学水平的数学应用题组成的基准测试中获得了 77.4 分。在 MATH，一个更具挑战性的基准测试，专注于高级数学问题，它获得了 45.3 分。这些结果强调了 Moonlight 处理复杂数学推理任务的能力。
多语言能力：在中文任务中表现出色
Moonlight 的能力不仅限于英语。它在中文任务中也表现出强大的性能。在 C-Eval（一个全面的中文评估套件）中，它获得了 77.2 分。在 CMMLU，另一个专注于多任务语言理解的中文基准测试中，它获得了 78.2 分。这些结果确立了 Moonlight 在多语言处理方面的有效性，展示了其处理不同语言细微差别的能力。该模型在如此多样化的基准测试中始终表现出强大的性能，有力地证明了其强大的泛化能力。它可以适应并在各种任务中表现出色，同时与之前的模型相比，保持显著降低的计算成本。
解决可扩展性挑战并促进未来研究
Muon 中体现的创新直接解决了长期困扰大型语言模型训练的关键可扩展性挑战。通过结合权重衰减和一致的 RMS 更新，研究人员显著提高了稳定性和效率。这使得 Moonlight 能够突破性能界限，同时降低训练成本。这些进步巩固了 Muon 作为基于 Adam 的优化器的引人注目的替代方案的地位。它提供了卓越的样本效率，而无需像 Adam 及其变体通常那样进行大量的调整。
此外，Muon 和 Moonlight 的开源代表了对研究社区的重大贡献。通过免费提供这些工具，研究人员正在促进对大型模型高效训练方法的进一步探索和开发。这种开放的方法鼓励合作并加速该领域的进展，为未来更强大和更易于访问的语言模型铺平道路。像 Muon 这样的优化器的持续改进不仅仅是构建更大的模型；它是关于更智能地构建它们，充分利用可用资源，并使人工智能研究的前沿民主化。