字节跳动推出3D头像生成模型HeadGAP，仅需少量图片即可生成逼真头像
北京，2024年8月28日 – 字节跳动与上海科技大学共同推出的3D头像生成模型HeadGAP，近日正式发布。该模型仅需少量图片，甚至一张图片，就能快速生成逼真的3D头像，为虚拟社交、游戏开发、电影制作等领域带来全新体验。
HeadGAP的核心技术在于其独特的“先验学习”和“个性化创建”阶段框架。通过分析大规模多视角动态数据集中的3D头部模型，HeadGAP能够学习并提取头部的通用特征和形状先验信息。在个性化创建阶段，HeadGAP则基于高斯Splatting自动解码网络，将3D头部数据分布表示为高斯原语的集合，捕捉头部的复杂几何结构。同时，HeadGAP还采用了身份共享编码与个性化潜在代码，学习不同身份之间的共同特征，并为每个个体生成个性化的潜在代码，以学习个体独特的属性。
HeadGAP的主要功能包括：
- 少样本学习： 从极少量的图片中创建出逼真的3D头像。
- 高保真度： 生成的3D头像具有照片级的渲染质量，细节丰富且真实。
- 动画鲁棒性： 头像不仅在视觉上逼真，还能进行流畅的动画表现，适应不同的面部表情和动作。
- 个性化定制： 通过先验学习和个性化阶段，能够根据用户的具体特征进行定制化处理。
- 多视角一致性： 头像在不同视角下都能保持一致性，无论是正面、侧面还是斜视等。
HeadGAP的应用场景十分广泛：
- 虚拟社交： 在虚拟现实或增强现实社交平台中，用户可以用HeadGAP生成的3D头像作为自己的虚拟形象，提升社交体验的沉浸感和真实感。
- 游戏开发： 游戏开发者可以用HeadGAP技术为游戏角色创建逼真的3D头像，提升游戏的沉浸感和个性化体验。
- 电影和动画制作： 电影或动画制作中，HeadGAP可以生成或重建角色的面部特征，实现更加真实和生动的表演捕捉，提升作品的视觉效果。
- 教育和培训： 在模拟训练或教育软件中，HeadGAP可以用来创建逼真的虚拟教师或学员的头像，提高学习体验，增强学习的趣味性和互动性。
HeadGAP项目的相关信息：
- 项目官网： headgap.github.io
- GitHub仓库： https://github.com/headgap/headgap.github.io
- arXiv技术论文： https://arxiv.org/pdf/2408.06019
HeadGAP的出现，标志着3D头像生成技术取得了重大突破。未来，HeadGAP有望在更多领域得到应用，为用户带来更加个性化、沉浸式的体验。
关于字节跳动
字节跳动是一家全球领先的科技公司，致力于用科技连接世界，为用户创造价值。公司旗下拥有抖音、今日头条、西瓜视频、TikTok等多个知名产品，服务全球数十亿用户。
关于上海科技大学
上海科技大学是一所由上海市人民政府举办、国家支持、面向世界、具有鲜明科技特色、以理工科为主的高水平研究型大学。学校致力于培养具有国际竞争力的高层次人才，推动科技创新和社会进步。
【source】https://ai-bot.cn/headgap/
Views: 1