北京讯 – 在人工智能技术日新月异的今天，动画制作和游戏开发领域正迎来一场新的变革。北京航空航天大学、香港中文大学（深圳）、悉尼科技大学、中山大学等高校联合推出了一款名为Sitcom-Crafter的3D人类动作生成系统，该系统旨在通过AI技术，高效、智能地生成多样化且物理真实的3D人物动作，为动画和游戏设计提供强大的助力。
Sitcom-Crafter的核心功能在于能够根据用户提供的长剧情指导，自动生成包括人类行走、人类与场景交互以及人类之间交互等一系列复杂的动作。该系统由八大模块组成，其中三大核心模块负责动作生成，另外五个增强模块则专注于优化动作的流畅性、同步性以及碰撞修正，力求打造更加自然逼真的动作效果。
技术原理：场景感知与自监督学习
Sitcom-Crafter的技术亮点在于其创新的3D场景感知技术和自监督SDF（Signed Distance Function，符号距离函数）策略。该系统无需额外的数据采集，即可生成符合物理逻辑的动作，极大地提升了创作效率。
具体来说，Sitcom-Crafter的运动生成模块包括：
- 人类行走生成： 利用现有的先进方法，如GAMMA，通过深度学习模型生成人物的行走运动。
- 人与场景交互生成： 结合DIMOS等方法，结合场景信息生成人物与场景物体的交互运动。
- 人与人交互生成： 采用自监督的场景感知方法，合成3D场景中的SDF点模拟周围环境，避免人物与场景的碰撞。同时，基于扩散模型（diffusion model）生成多人交互，考虑人物之间的相对位置和运动。
为了进一步提升动作的真实性和自然性，Sitcom-Crafter还配备了强大的增强模块，包括：
- 剧情解析： 利用大型语言模型（如Gemini 1.5）解析剧情文本，转化为具体的运动指令。
- 运动同步： 基于插值技术（如Slerp）确保不同模块生成的运动在时间上平滑过渡。
- 手部姿态增强： 通过CLIP模型检索与文本描述最相似的手部姿态，融入生成的运动中。
- 碰撞修正： 自动检测并修正人物之间的碰撞。
- 3D重定向： 将生成的运动映射到现有的3D数字人物模型，提升视觉效果。
应用场景：从动画到教育，潜力无限
Sitcom-Crafter的应用前景十分广阔，不仅可以应用于动画制作领域，减少手动动画工作量，支持多样化动作和剧情驱动的动画设计，还可以应用于游戏开发领域，为NPC设计自然行为和交互动作，提升游戏沉浸感。
此外，Sitcom-Crafter在虚拟现实（VR）和增强现实（AR）领域也有着重要的应用价值，可以生成虚拟角色的自然交互和场景模拟，增强用户体验和交互自然性。在影视制作领域，Sitcom-Crafter可用于早期创意验证、特效场景设计和动作捕捉替代，提升制作效率。甚至在教育和培训领域，该系统也可以生成模拟训练中的角色行为，创建虚拟教学助手，支持安全演示和复杂场景教学。
项目地址与未来展望
目前，Sitcom-Crafter的项目官网、GitHub仓库以及arXiv技术论文均已开放，供研究者和开发者进一步了解和使用。
- 项目官网：https://windvchen.github.io/Sitcom-Crafter/
- GitHub仓库：https://github.com/WindVChen/Sitcom-Crafter
- arXiv技术论文：https://arxiv.org/pdf/2410.10790
随着人工智能技术的不断发展，Sitcom-Crafter有望在未来进一步完善和优化，为动画、游戏、VR/AR、影视制作以及教育培训等领域带来更多的创新和突破。
关键词： Sitcom-Crafter, 3D人类动作生成, 人工智能, 动画制作, 游戏开发, 北京航空航天大学, 香港中文大学, 悉尼科技大学, 中山大学, 场景感知, 自监督学习, 扩散模型。
Views: 0