谷歌联手卡内基梅隆大学，推出高保真度3D服装生成技术FabricDiffusion
硅谷，加利福尼亚州 -近日，谷歌与卡内基梅隆大学共同发布了一项名为FabricDiffusion的突破性技术，该技术能够将现实世界中2D服装图像的纹理和印花高质量地转移到任意形状的3D服装模型上，为虚拟试衣、游戏开发、虚拟现实等领域带来了革命性的改变。
FabricDiffusion的核心在于利用去噪扩散模型和一个庞大的合成数据集，克服了传统3D服装生成技术中纹理转移的精度和泛化能力不足的难题。该技术能够处理各种类型的纹理、图案和材料，并生成包括漫反射、粗糙度、法线和金属度在内的多种纹理贴图，从而在不同光照条件下对3D服装进行精确的重新照明和渲染，展现出卓越的性能和泛化能力。
FabricDiffusion的主要功能包括：
- 高质量纹理转移: 将2D服装图像的纹理和印花自动提取并转移到3D服装模型上，实现高度逼真的视觉效果。
- 处理多种纹理: 支持处理各种类型的纹理、图案和材料，包括棉布、丝绸、皮革、牛仔布等，以及各种印花、图案和标志。
- 生成多种纹理贴图: 除了生成漫反射贴图外，还能生成粗糙度、法线和金属感的贴图，为3D服装模型提供更丰富的视觉细节。
- 跨光照条件渲染: 支持在不同光照条件下对3D服装进行准确的重新照明和渲染，确保在不同环境下呈现逼真的效果。
- 零样本泛化: 在完全使用合成渲染图像训练的情况下，能够泛化到现实世界的图像，实现更广泛的应用场景。
FabricDiffusion的技术原理主要基于以下几个方面：
- 去噪扩散模型: 利用去噪扩散模型学习从失真的输入纹理图像中恢复出无失真、可平铺的纹理材料，提高纹理转移的精度。
- 大规模合成数据集: 构建了一个包含超过100k纺织颜色图像、3.8k材质PBR纹理图、7k印花和22个3D服装网格的大规模合成数据集，为模型训练提供了充足的数据支撑。
- 纹理图像纠正: 基于模型训练，纠正输入纹理图像中的失真，生成与基于物理的渲染（PBR）材质生成流程紧密结合的平坦纹理图，确保纹理的真实性和准确性。
- 特征转移: 从单一服装图像中转移包括纹理图案、材质属性和详细印花和标志在内的各种特征，实现更精细的纹理转移。
- 归一化和可平铺: 生成的纹理图是归一化的，在服装的UV空间中平铺，与现有的PBR材质估计流程无缝集成，方便后续的渲染和应用。
- 条件生成: 模型根据输入的服装图像条件生成对应的纹理，实现从2D到3D的高质量纹理转移。
FabricDiffusion的应用场景十分广泛，包括：
- 虚拟试衣: 在电子商务和时尚零售中，创建虚拟试衣间，让消费者在线上试穿3D服装，提高购物体验，降低退货率。
- 游戏和娱乐: 在游戏开发中，快速生成具有真实纹理的3D服装，增强游戏角色的视觉真实感，提升玩家的游戏体验。
- 虚拟现实（VR）和增强现实（AR）: 在VR和AR应用中，创建逼真的虚拟环境和角色，提升用户沉浸感，拓展虚拟现实技术的应用范围。
- 电影和电视制作: 在影视制作中，生成或修改服装纹理，提高特效和服装设计的效率，降低制作成本。
- 时尚设计和原型制作: 设计师探索新的设计和纹理，快速创建服装原型，加速设计迭代，降低设计成本。
FabricDiffusion的发布标志着3D服装生成技术取得了重大突破，它将为虚拟世界带来更逼真的视觉体验，并为各行各业带来新的机遇和挑战。未来，随着技术的不断发展和应用场景的不断拓展，FabricDiffusion将会在更多领域发挥重要作用，为人类生活带来更多便利和惊喜。
项目地址:
- 项目官网: humansensinglab.github.io/fabric-diffusion
- arXiv技术论文: https://arxiv.org/pdf/2410.01801
FabricDiffusion的出现，将推动3D服装生成技术的发展，并为虚拟世界带来更逼真的视觉体验，为各行各业带来新的机遇和挑战。
Views: 0