多智能体强化学习迎Hard模式，浙大南栖仙策联手挑战

好的，请看我为你撰写的新闻稿，这篇稿件融合了深度分析和专业视角，希望能满足你的要求：

标题：多智能体强化学习算法评估迎来“Hard模式”：浙大、南栖仙策联手推出SMAC-HARD环境

引言：

在人工智能的浪潮中，多智能体强化学习（MARL）正逐渐成为推动智能系统发展的关键技术。然而，如同任何技术进步一样，MARL算法的评估也面临着新的挑战。长期以来，星际争霸多智能体挑战（SMAC）作为MARL算法的基准测试环境，发挥了重要作用。但随着算法的不断精进，SMAC环境的局限性日益显现，算法评估的“舒适区”亟待突破。近日，浙江大学与南栖仙策联合推出SMAC-HARD环境，为MARL算法评估引入了更具挑战性的“Hard模式”，这无疑为该领域的研究注入了新的活力。

主体：

SMAC的挑战与局限：

在合作式多智能体强化学习领域，SMAC环境一直被广泛用于验证算法的收敛性和样本利用率。然而，随着MARL算法的快速发展，许多算法在SMAC上已接近最优性能，这使得评估算法的真实有效性变得更加复杂。SMAC环境，包括其升级版SMACv2，虽然在任务初始化时引入了概率生成，以削弱开环控制的特性，但其对手策略仍然采用默认的、单一且确定的脚本。这种设定使得智能体容易过拟合到特定的对手策略，或利用对手策略的漏洞找到“取巧”的解决方案，而非真正学习到通用的、鲁棒的策略。

例如，在SMACv1中，对手的狂热者（zealot）常常被仇恨范围和脚本限制在固定位置，脱离战斗；而在SMACv2中，由于默认策略是攻击最近的敌人，狂热者又容易被追踪者（stalker）吸引而脱离团队。这些现象都表明，默认脚本的存在限制了算法的泛化能力，并不能真实反映算法在复杂、动态环境中的表现。

SMAC-HARD：更具挑战的评估环境：

为了解决上述问题，浙江大学与南栖仙策联合推出了SMAC-HARD环境。该环境的核心创新在于：

可编辑的对手策略： SMAC-HARD允许用户自定义对手的策略，不再局限于单一的默认脚本。这使得智能体可以在训练过程中适应不同的对手行为，从而提高模型的稳定性和泛化能力。
随机化对手策略： 环境支持对手策略的随机选择，进一步增加了对手行为的多样性，迫使智能体学习更具适应性的策略。
MARL自博弈接口： SMAC-HARD引入了自博弈机制，允许智能体与自身的历史版本或不同策略的智能体进行对抗训练，这有助于发现更强大的策略。
黑盒测试： SMAC-HARD支持黑盒测试，即智能体在训练过程中仅与默认对手或自博弈模型交互，而在测试阶段与环境提供的未知脚本进行对抗。这种测试方式能够有效评估算法的策略覆盖性和迁移能力。

技术实现：

SMAC-HARD环境基于Python的pysc2代码包，该代码包是对《星际争霸II》二进制游戏文件中的sc2_protocol的抽象。SMAC框架则进一步封装了pysc2提供的API，将原始观测数据转化为标准化、结构化的向量表示。SMAC-HARD修改了SMAC中的地图（SC2Map），启用了多玩家模式，并禁用了默认攻击策略。此外，环境还修改了原SMAC的starcraft.py文件，以容纳两个玩家进入游戏，并并行处理两个玩家的行动，从而减轻行动执行顺序的影响。

SMAC-HARD不仅为对手提供了决策树建模，还引入了由预定义概率设置的随机策略选择功能，以提升对手策略的丰富度。此外，环境还为对手提供了与智能体类似的对称接口，以促进MARL自博弈模式的发展。用户可以通过mode参数来控制使用自博弈模式或决策树模式。

研究结果与启示：

研究团队在SMAC-HARD上对广泛使用的先进算法进行了评估，结果显示，在面对混合可编辑对手策略时，当前的MARL算法往往会得到更保守的行为价值，进而导致策略网络收敛到次优解。此外，黑盒策略测试也揭示了将所学策略转移到未知对手身上的难度。这些结果表明，现有的MARL算法在复杂、动态环境中的鲁棒性和泛化能力仍有待提高。

结论：

SMAC-HARD环境的推出，标志着MARL算法评估进入了一个新的阶段。它不仅为研究者提供了更具挑战性的测试平台，也为算法的改进和创新提供了新的方向。通过SMAC-HARD环境，研究者可以更深入地了解MARL算法的局限性，并探索更有效、更鲁棒的算法。这一研究成果有望促进多智能体系统社区中自博弈方法的发展，并推动人工智能技术的进步。

参考文献：