在游戏开发领域，AI技术的运用正日益展现出其强大的潜力。近期，一项由GitHub用户和AI公司Virtuals Protocol合作的研究项目，利用AI视频生成技术成功模拟了经典游戏《超级马里奥兄弟》。这一成果不仅为游戏开发开辟了新的可能性，也预示着AI在游戏产业中的角色将越来越重要。
项目背景
该项目名为MarioVGG，由GitHub用户欧尼·周（Ernie Chew）和布瑞恩·林（Brian Lim）负责管理，相关论文由Virtuals Protocol发表。项目灵感来源于谷歌的GameNGen AI模型，后者曾展示了使用图像扩散技术生成可玩版《毁灭战士》的能力。
技术实现
MarioVGG项目利用机器学习技术，通过分析游戏视频和输入数据，推断游戏的物理规则和动态。研究人员选取了280个游戏关卡，超过737,000帧的游戏画面作为训练数据集。
为了简化模型，研究人员只关注两种潜在输入：向右跑和向右跑并跳跃。经过约48小时的训练（使用单块RTX 4090显卡），模型能够从静态的初始游戏图像和文本输入生成新的视频帧序列。
文本到视频生成
MarioVGG采用了文本到视频生成的方法。模型通过学习游戏画面，能够根据玩家的文本输入（如“跑”或“跳”）生成相应的游戏画面序列。具体来说，模型只需要接收一个初始的游戏画面帧和所需动作的文本描述，然后学习生成一系列可视化描述所需动作的帧。
优化与挑战
为了提高效率，研究人员将输出帧的分辨率从原始NES的256×240降低到了64×48或128×96，并将35帧的视频时间压缩为7个生成帧。尽管如此，模型仍然面临着接近实时视频生成的挑战，目前需要大约6秒钟才能生成6帧视频序列。
研究人员承认，这一速度“对于交互式视频游戏来说既不实用也不友好”，但他们希望未来的优化可以改善这一速率。
成果与展望
尽管存在上述限制，MarioVGG仍然展现出了一些令人印象深刻的特性。模型能够从训练数据中学习游戏的物理规则，包括马里奥从悬崖边跌落时的重力效果，以及在遇到障碍物时停止前进。此外，它还能生成新的障碍物，与游戏的图形语言相一致。
然而，模型也存在一些问题，如输入动作文本并不总是被遵守，有时还会出现视觉问题，如马里奥穿过障碍物或颜色闪烁。
MarioVGG项目为未来游戏开发开辟了新的可能性，展示了AI如何通过学习视频数据来理解和重现复杂的游戏机制。研究人员希望这代表着“产生和展示可靠和可控的视频游戏生成器”的第一步。
尽管如此，要实现这一愿景，还需要解决诸如实时性能、画面质量、游戏逻辑一致性等一系列挑战。不过，考虑到MarioVGG项目仅使用了相对较小的训练数据集和单个消费级GPU，其取得的成果已经相当令人印象深刻。
Virtual Protocols公司在推特上表示：“无限交互世界的时代已经到来。”随着AI技术的不断发展，我们有理由相信，未来将出现更多AI辅助的游戏开发工具，甚至是完全由AI生成的游戏世界。
Views: 0