摘要： 卡内基梅隆大学、上海人工智能实验室和斯坦福大学的研究人员联合推出了一款名为GAS（Generative Avatar Synthesis from a Single Image）的创新框架，该框架能够仅凭单张图像生成高质量、视角一致且时间连贯的3D人体虚拟形象。GAS的出现，为游戏、影视、体育、时尚等领域带来了全新的可能性，有望大幅降低相关行业的建模和动画制作成本。
上海，[日期] – 随着人工智能技术的飞速发展，虚拟形象的创建和应用日益普及。然而，传统3D建模和动画制作流程复杂、耗时且成本高昂，成为制约行业发展的瓶颈。为了解决这一难题，卡内基梅隆大学、上海人工智能实验室和斯坦福大学的研究人员联合推出了一款名为GAS（Generative Avatar Synthesis from a Single Image）的创新框架，该框架能够仅凭单张图像生成高质量、视角一致且时间连贯的3D人体虚拟形象。
GAS的核心在于巧妙地融合了回归型3D人体重建模型和扩散模型的优势。它首先利用3D人体重建模型从单张图像生成中间视角或姿态，然后将这些信息作为条件输入视频扩散模型，从而实现高质量的视角一致性和时间连贯性。此外，GAS还引入了“模式切换器”，用于区分视角合成和姿态合成任务，进一步提升生成效果。
GAS的主要功能包括：
- 视角一致的多视角合成： 从单张图像生成高质量的多视角渲染，确保不同视角下的外观和结构一致性。
- 时间连贯的动态姿态动画： 通过给定的姿态序列，生成流畅且真实的非刚性形变动画，实现动态姿态的连贯性。
- 统一框架与泛化能力： 将视角合成和姿态合成任务统一，通过共享模型参数和利用大规模真实数据进行训练，提升模型对真实场景的泛化能力。
- 密集外观提示： 基于3D重建模型生成的密集信息作为条件输入，确保生成结果在外观和结构上的高保真度。
GAS的技术原理如下：
- 3D人体重建与密集条件信号： GAS首先基于回归型3D人体重建模型（如单视角通用人类NeRF）从输入图像生成中间的视角或姿态。通过将输入图像映射到规范空间并重新定位，生成密集的外观提示。这些密集信息作为条件输入，为后续的扩散模型提供了丰富的细节和结构信息，确保生成结果的高质量和一致性。
- 视频扩散模型与统一框架： 生成的中间视角或姿态被用作视频扩散模型的条件输入，通过扩散模型生成高质量的视角一致性和时间连贯性动画。GAS提出了统一框架，将视角合成和姿态合成任务合并，共享模型参数，实现从姿态合成到视角合成的自然泛化。
- 模式切换器： 为了区分视角合成和姿态合成任务，GAS引入了模式切换器模块。该模块支持网络在生成视角时专注于一致性，在生成姿态时专注于真实感变形。
- 真实世界数据的泛化能力： GAS通过结合大规模真实世界视频（如网络视频）进行训练，显著提升了对真实场景的泛化能力。数据来源的多样性使得模型能够适应各种光照、服装和动作条件。
GAS的应用场景广泛，包括：
- 游戏和虚拟现实（VR）： GAS可以从单张图像生成高质量的虚拟形象，支持多视角和动态姿态的连贯合成，为游戏和VR体验带来更逼真的人物角色。
- 影视制作： 在影视特效和动画制作中，GAS能快速生成逼真的虚拟角色，减少传统建模和动画制作的时间和成本，提高制作效率。
- 体育和健身： 通过从单张图像生成动态虚拟形象，GAS可用于创建个性化的运动动画，帮助运动员分析动作或用于健身应用中，提供个性化的健身指导。
- 时尚和服装设计： GAS能生成不同姿态和视角的虚拟形象，帮助设计师快速预览服装效果，提升设计效率，并为消费者提供更直观的在线试穿体验。
GAS的发布，标志着AI技术在虚拟形象生成领域取得了重大突破。它不仅能够大幅降低相关行业的建模和动画制作成本，还将为游戏、影视、体育、时尚等领域带来全新的可能性。随着技术的不断发展和完善，GAS有望在未来得到更广泛的应用，并深刻改变我们与虚拟世界的互动方式。
项目地址：
参考文献：
- Humansensinglab.github.io. (n.d.). GAS: Generative Avatar Synthesis from a Single Image. Retrieved from https://humansensinglab.github.io/GAS/
- arXiv.org. (n.d.). GAS: Generative Avatar Synthesis from a Single Image. Retrieved from https://arxiv.org/pdf/2502.06957
未来展望：
GAS的出现仅仅是AI赋能虚拟形象生成领域的开端。未来，随着计算能力的提升和算法的不断优化，我们有望看到更加逼真、智能和个性化的虚拟形象涌现。这些虚拟形象不仅将丰富我们的娱乐生活，还将深刻改变我们的工作、学习和社交方式。例如，我们可以利用AI技术创建自己的虚拟化身，参与虚拟会议、进行远程协作，甚至在虚拟世界中体验全新的生活方式。
（完）
Views: 0