中科大推出AI人像视频编辑工具PortraitGen，赋能影视、艺术、时尚等领域
中国科学技术大学研究团队近日推出了一款名为PortraitGen的AI人像视频编辑工具，该工具基于3D高斯溅射技术和神经高斯纹理机制，能够实现高质量的3D和时间一致性人像视频编辑，为影视、艺术、时尚等领域带来全新可能。
PortraitGen的核心功能在于其多模态人像编辑能力，用户可以通过文本描述或参考图像来实现对视频中人物的风格化、换衣、光照调整等操作。例如，用户可以输入文字描述，让人物做出特定的动作、表情，或将人物的风格转换为动画风格，甚至为人物添加虚拟服装。此外，PortraitGen还支持基于文本描述动态调整视频中的光照效果，使光照与场景自然融合。
PortraitGen的技术原理基于以下几个关键点：
- 3D高斯溅射（3DGS）： 通过3D高斯表示场景，实现动态3D场的构建，为视频编辑提供更精准的控制。
- 神经高斯纹理机制： 在SMPL-X模型的UV空间上维护一个3D高斯场，根据输入视频跟踪的底层网格变形来变形高斯，实现高质量的视频渲染。
- 面部感知编辑模块： 对头部区域进行两次编辑，增强面部结构感知，提高编辑质量，确保人物的面部结构和个性化特征得以保留。
- 表达式相似性指导： 将渲染图像和输入源图像映射到EMOCA的潜在表达式空间，用损失函数确保表情的相似性，使编辑后的肖像自然且与原始视频帧保持一致性。
- 多模态编辑技术： 结合大规模2D生成模型的知识，实现文本驱动编辑、图像驱动编辑和重新照明，为用户提供更多灵活的编辑方式。
PortraitGen的应用场景十分广泛，包括：
- 电影和影视制作： 用于创建或修改角色的外貌，实现特效化妆或风格化的场景转换，提升影视制作效率和创意。
- 艺术创作： 艺术家和插画师可以用PortraitGen创作具有特定风格的人像艺术作品，将肖像转换为像素艺术或油画风格，拓展艺术创作的边界。
- 广告和宣传： 根据品牌形象或产品特点，对人物肖像进行定制化编辑，吸引目标受众，提升广告效果。
- 时尚行业： 基于虚拟试穿功能，在虚拟环境中展示服装和配饰，为客户提供新的购物体验，推动时尚行业发展。
- 社交媒体和短视频： 内容创作者和影响者用PortraitGen编辑自己的肖像视频，增加创意效果，提高内容的吸引力和互动性，提升内容创作效率。
- 游戏开发： 快速生成或编辑游戏角色的外貌，提高游戏的个性化和丰富性，提升游戏开发效率。
PortraitGen的推出，标志着AI人像视频编辑技术取得了新的突破，为影视、艺术、时尚等领域带来了全新的可能性。未来，随着AI技术的不断发展，PortraitGen将不断完善和升级，为用户提供更加便捷、高效、智能的视频编辑体验。
项目地址：
*项目官网：ustc3dv.github.io/PortraitGen
* GitHub仓库：https://github.com/USTC3DV/PortraitGen-code
* arXiv技术论文：https://arxiv.org/pdf/2409.13591
Views: 0