香港，2024年3月18日 – 随着人工智能技术的飞速发展，深度学习已渗透到自动驾驶、计算机视觉、自然语言处理等多个前沿领域。然而，在面对日益复杂的现实场景时，传统单目标优化范式在多任务协同、资源约束以及安全性与公平性权衡等方面逐渐显现出局限性。近日，香港科技大学、香港科技大学（广州）、香港城市大学以及美国伊利诺伊大学厄巴纳-香槟分校（UIUC）的联合研究团队，针对这一挑战，发布了一篇关于基于梯度的多目标深度学习的最新综述，为深度学习的未来发展指明了新的方向。
这项研究成果以《Gradient-Based Multi-Objective Deep Learning: Algorithms, Theories, Applications, and Beyond》为题，深入探讨了多目标优化（Multi-Objective Optimization, MOO）在深度学习中的应用。该综述不仅全面解析了多目标算法的设计、理论分析，还深入探讨了其在实际应用中的价值和未来发展趋势。
多目标优化：破解复杂系统多重约束的关键
在人工智能领域，尤其是在大语言模型（LLM）和生成式AI系统的多维度价值对齐方面，如何协调模型性能、安全伦理边界、文化适应性以及能耗效率等多元目标，已成为制约人工智能系统社会应用的关键挑战。多目标优化作为一种协调多个潜在冲突目标的核心技术框架，正在成为破解复杂系统多重约束难题的关键方法。
该综述论文的共同第一作者包括香港科技大学在读博士生陈巍昱、香港城市大学在读博士生张霄远和香港科技大学（广州）在读博士生林百炅。林熙博士目前担任香港城市大学博士后研究员。UIUC赵晗助理教授、香港城市大学张青富教授以及香港科技大学郭天佑教授为共同通讯作者。
赵晗博士的研究方向主要集中在机器学习理论和可信机器学习领域，涵盖算法公平、可解释性和多任务优化等多个方向，其研究成果曾获Google Research Award。张青富教授 (IEEE Fellow) 长期致力于多目标优化的研究，所提出MOEA/D方法至今已被引用近万次，成为多目标优化经典范式之一。郭天佑教授 (IEEE Fellow) 专注于机器学习中的优化问题研究，曾获AI 2000最具影响力学者荣誉提名，并担任IJCAI-2025程序主席。
算法设计：寻找深度学习的“平衡之道”
该综述将基于梯度的多目标优化方法主要分为三类：寻找单个Pareto最优解的算法、寻找有限个Pareto最优解的算法以及寻找无限个Pareto最优解的算法。
- 寻找单个Pareto最优解： 在多任务学习等场景中，通常只需找到一个平衡的解，以解决任务之间的冲突，使每个任务的性能都尽可能达到最优。研究者们提出了损失平衡方法和梯度平衡方法。损失平衡方法通过动态计算或学习目标权重，平衡不同任务的损失；梯度平衡方法则通过计算多个任务梯度的“最优平衡方向”，使模型在更新参数时能够兼顾所有任务的优化需求。
- 寻找有限个Pareto最优解： 在寻找有限个Pareto解集时，需要同时考虑解的快速收敛性和解集的多样性。目前主要有基于偏好向量的方法和无需偏好向量的方法。
- 寻找无限个Pareto最优解： 旨在找到能够代表整个Pareto前沿的解集，为决策者提供更全面的选择。
未来展望：多目标深度学习的无限可能
该综述不仅总结了当前多目标深度学习的研究进展，还对未来的发展方向进行了展望。研究团队认为，随着人工智能技术的不断发展，多目标优化将在更多领域发挥重要作用，例如：
- 大语言模型（LLM）的价值对齐： 如何在LLM的训练过程中，协调模型性能、安全伦理边界、文化适应性以及能耗效率等多元目标，将是多目标优化面临的重要挑战。
- 可信人工智能： 在追求模型性能的同时，如何保证模型的公平性、可解释性和鲁棒性，也需要多目标优化方法的支持。
- 资源受限的深度学习： 如何在计算资源、能源消耗等约束条件下，实现深度学习模型的优化，将是多目标优化在实际应用中的重要方向。
这篇综述的发布，无疑为深度学习领域的研究者和从业者提供了一个宝贵的参考，有助于推动多目标优化在深度学习中的应用，并为人工智能技术的未来发展注入新的活力。
论文链接：https://arxiv.org/pdf/2501.10945v2
仓库链接：https://github.com/Baijiong-Lin/Awesome-Multi-Objective-Deep-Learning
参考文献：
- 陈巍昱, 张霄远, 林百炅, 等. Gradient-Based Multi-Objective Deep Learning: Algorithms, Theories, Applications, and Beyond. arXiv preprint arXiv:2501.10945v2, 2025.
（完）
Views: 0