悉尼/北京 – 长期以来，人工智能（AI）领域的基础模型发展主要遵循“Scaling Up”（模型扩容）的思路，即通过增加数据规模、模型参数和计算资源来提升AI系统的能力。然而，随着模型规模的不断扩大，这种模式面临着高质量数据获取成本高昂、模型训练和推理所需资源呈指数级增长等瓶颈。为了应对这些挑战，悉尼大学计算机学院的研究团队提出了一种新的AI Scaling思路，不仅包括Scaling Up，还引入了“Scaling Down”（模型精简）和“Scaling Out”（模型外扩）两个新维度。
该研究由悉尼大学计算机学院王云柯博士后，李言蹊博士生和徐畅副教授共同完成。相关论文已发表，题为《AI Scaling: From Up to Down and Out》。
Scaling Down：让AI更轻量、更高效
Scaling Down旨在减少模型规模、优化计算效率，同时保持核心能力，使AI适用于更广泛的资源受限场景，如边缘设备和移动端应用。研究团队指出，随着Scaling Up所需成本的急剧增加，如何在缩小模型规模的同时保持甚至提升性能，成为一个关键问题。
Scaling Down的技术基础主要包括：
- 减少模型规模： 剪枝（移除神经网络中不重要的部分）、量化（将浮点参数替换为整数）、知识蒸馏（将大型复杂模型的知识迁移到小型高效模型中）。
- 优化计算效率： 投机采样（通过近似模型生成候选词，再由目标模型并行验证）、KV Caching（存储注意力机制的中间状态，避免重复计算）、混合专家模型（通过任务特定的子模型和门控机制实现高效扩展）。
研究团队认为，未来Scaling Down的研究可能聚焦于核心功能模块的提炼和外部辅助增强两个方向。通过系统化的剪枝和知识蒸馏技术，开发出更精细的模型架构优化方法，在缩小规模的同时不损失性能。同时，检索增强生成（RAG）和工具调用等技术，可以为小模型提供新的能力扩展途径。
Scaling Out：构建去中心化的AI生态系统
Scaling Out是AI Scaling的最后一步，其通过将孤立的基础模型扩展为一个协同工作的生态系统，从而实现AI能力的更广泛应用。这种模式旨在打破AI技术的中心化趋势，让更多的开发者和用户能够参与到AI的创新和应用中来。
Scaling Up面临瓶颈
Scaling Up 通过增加数据规模、模型参数和计算资源，使 AI 系统的能力得到了显著提升。然而，随着规模的不断扩大，Scaling Up 也面临多重瓶颈。数据方面，高质量公开数据已被大量消耗，剩余数据多为低质量或 AI 生成内容，可能导致模型性能下降。模型方面，参数增加带来的性能提升逐渐减弱，大规模模型存在冗余、过拟合等问题，且难以解释和控制。计算资源方面，训练和推理所需的硬件、能源和成本呈指数级增长，环境和经济压力使得进一步扩展变得不可持续。
未来展望：从集中化走向分布式，从高资源消耗走向高效普及
悉尼大学研究团队提出的AI Scaling框架，为未来AI技术的普及和应用提供了新的方向。通过Scaling Down，AI可以更高效地运行在资源受限的设备上；通过Scaling Out，AI可以更广泛地应用于实际场景，构建一个去中心化的AI生态系统。
该研究团队表示，未来的AI发展将不再仅仅依赖于Scaling Up，而是需要综合考虑Scaling Down和Scaling Out，实现AI技术的普及和可持续发展。
参考文献
- 王云柯, 李言蹊, & 徐畅. (2025). AI Scaling: From Up to Down and Out. arXiv preprint arXiv:2502.01677. [https://www.arxiv.org/abs/2502.01677]
Views: 0