好的，根据你提供的信息，我将撰写一篇新闻稿，力求专业、深入且引人入胜。
标题：百万美元炼丹术：阶跃星辰开源LLM最优超参数工具，揭秘深度学习炼金术
引言：
在人工智能的浩瀚星空中，大型语言模型（LLM）无疑是最耀眼的星辰之一。然而，要驾驭这些强大的模型，如同炼金术士般，需要精妙的“调参”技艺。近日，一家名为阶跃星辰的研究团队，公开了一项耗资百万美元的“炼丹秘籍”——开源LLM最优超参数工具。这项研究不仅揭示了LLM超参数优化的全新规律，更为开发者们提供了一把开启LLM性能宝藏的钥匙。
正文：
在人工智能领域，大型语言模型（LLM）的训练一直是一项资源密集型的工作。超参数的调整，更是直接影响模型性能的关键环节。如同炼金术士寻找点石成金的秘方，AI研究者们也在不断探索LLM超参数优化的奥秘。
近日，中国AI初创公司阶跃星辰（Step AI）的研究团队，通过一项前所未有的大规模实证研究，为LLM的“炼丹术”带来了突破性的进展。该团队耗费了近100万 NVIDIA H800 GPU 小时（价值约百万美元），从头训练了3700个不同规模的LLM，总计训练了超过100万亿个token。这项研究揭示了LLM超参数优化的全新普适性缩放规律，并据此开发了一款开箱即用的工具，为LLM性能的提升提供了强有力的支持。
Step Law：LLM超参数优化的新法则
这项研究的核心在于发现了一条名为“Step Law”的普适性缩放法则。该法则指出，最优学习率随着模型参数规模与数据规模呈幂律变化，而最优批量大小主要与数据规模相关。这一发现为LLM的超参数优化提供了清晰的指导方向。
与以往的研究相比，阶跃星辰的这项工作是首个全面研究模型最优超参数随着Model Shape、Dense/MoE、预训练数据分布的变化是否保持稳定的研究。研究结果表明，Step Law具有极强的鲁棒性，这大大增加了该工具的实用性和普适性。
开源工具与海量数据：赋能AI社区
为了便于学术界和工业界的应用，阶跃星辰团队开源了这款通用的最优超参数估算工具（https://step-law.github.io/）。实验表明，该工具的预测结果与穷举搜索的全局最优超参数相比，性能差距仅为0.09%。此外，研究团队还在网站上公开了所有超参数组合的loss热力图，以促进更深入的研究。
更令人振奋的是，阶跃星辰团队正在逐步开源相关资料，包括模型、训练日志等，期待更多相关领域的研究者基于这些海量的实验结果，做出更加深入的研究与解释。
研究亮点：Step Law的普适性
相较于现有的大模型最优超参数估算公式，阶跃星辰的研究进行了极其充分的、覆盖模型参数规模（N）、训练数据规模（D）、批量大小（BS）和学习率（LR）的网格搜索，最终得到的Step Law则展现出显著的优越性，在适用性和准确度方面均有大幅提升。
结论：
阶跃星辰的这项研究，不仅为LLM的超参数优化提供了新的理论指导，更通过开源工具和海量数据，为AI社区的进步贡献了力量。这项研究的意义在于，它将LLM的“炼丹术”从经验主义的摸索，转变为有章可循的科学探索。随着更多研究者加入到这一领域，我们有理由相信，LLM的性能将迎来更大的飞跃。
参考文献：
- Predictable Scale: Part Ⅰ — Optimal Hyperparameter Scaling Law in Large Language Model Pretraining: https://arxiv.org/abs/2503.04715
- 工具链接：https://step-law.github.io/
- 开源地址：https://github.com/step-law/steplaw
- 训练过程：https://wandb.ai/billzid/predictable-scale
注：
- 本文力求客观、准确地报道阶跃星辰的研究成果。
- 文中所有数据和信息均来自公开资料。
- 本文旨在促进AI领域的交流与合作。
希望这篇新闻稿符合你的要求！
Views: 0