近期，AI 技术在游戏开发领域的应用取得了令人瞩目的突破。一款名为 MarioVGG 的 AI 模型，成功利用视频生成技术模拟出了经典游戏《超级马里奥兄弟》（Super Mario Bros）。这一成果不仅展示了 AI 在游戏开发中的巨大潜力，也为未来游戏产业的发展注入了新的活力。
项目背景
《超级马里奥兄弟》是任天堂于 1985 年发行的一款经典游戏，深受全球玩家的喜爱。如今，AI 技术正逐渐改变游戏开发的传统模式。此前，谷歌的 GameNGen AI 模型已成功展示了使用图像扩散技术生成可玩版《毁灭战士》（Doom）的能力。而 MarioVGG 项目则将目光投向了《超级马里奥兄弟》。
项目详情
MarioVGG 项目主要由 GitHub 用户欧尼·周（Ernie Chew）和布瑞恩·林（Brian Lim）管理，其相关论文由加密货币相关的 AI 公司 Virtuals Protocol 发表。该项目利用机器学习技术，通过研究游戏视频和输入数据，来推断游戏的物理规则和游戏动态。
数据集与训练
研究人员使用了一个包含 280 个游戏关卡的公开数据集，游戏画面超过 737000 帧。为了简化游戏情况，他们只关注两种潜在输入：向右跑和向右跑并跳跃。经过约 48 小时的训练（使用单块 RTX 4090 显卡），模型能够从静态的初始游戏图像和文本输入生成新的视频帧序列。
文本到视频生成
MarioVGG 采用了文本到视频生成的方法来重现《超级马里奥兄弟》。模型通过学习游戏画面，能够根据玩家的文本输入（“跑”或“跳”）生成相应的游戏画面序列。具体来说，模型只需要接收一个初始的游戏画面帧和所需动作的文本描述（例如“跳跃”），然后学习生成一系列可视化描述所需动作的帧。
性能挑战
尽管取得了显著成果，MarioVGG 模型仍面临着实时性能的挑战。研究人员只用了一张 RTX 4090 显卡，需要大约 6 秒钟才能生成 6 帧视频序列，视频长度仅仅超过半秒，这还是在极其有限的帧率下。研究人员承认这“对于交互式视频游戏来说既不实用也不友好”，但他们希望未来的优化可以改善这一速率。
项目亮点
尽管存在性能限制，MarioVGG 仍然展现出了一些令人印象深刻的特性：
- 模型能够纯粹从训练数据中学习游戏的物理规则，包括马里奥从悬崖边跌落时的重力效果，以及在遇到障碍物时停止前进。
- 模型不仅关注模拟马里奥的动作，还能为马里奥生成新的障碍物，这些障碍物“与游戏的图形语言相一致”。
- MarioVGG 能够生成独特的马里奥关卡，只有第一帧输入来自真实游戏状态。
挑战与展望
然而，MarioVGG 也面临着一些显著的挑战，比如输入动作文本并不总是被模型所遵守，以及视觉问题等。此外，如何决定生成的游戏中的终止状态，仍然是一个开放的研究问题。
尽管如此，考虑到 MarioVGG 项目仅使用了相对较小的训练数据集和单个消费级图形处理器（GPU），其取得的成果已经相当令人印象深刻。Virtual Protocols 公司在推特上乐观地表示：“无限交互世界的时代已经到来。”
总体来看，视频生成制作游戏的方法虽然还无法完全替代传统的游戏开发方法，但它为游戏产业注入了新的活力。未来，我们可能会看到更多 AI 辅助的游戏开发工具，甚至是完全由 AI 生成的游戏世界。
Views: 0