Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

0

北京 – 阿里巴巴通义实验室近日宣布开源其最新研究成果——LHM (Large Animatable Human Reconstruction Model),一款能够从单张图像快速重建可动画3D人体模型的AI工具。这一突破性的技术,有望在虚拟现实、增强现实、游戏开发、影视制作以及社交媒体等领域引发广泛应用。

LHM的核心优势在于其高效性和高保真度。用户只需提供一张人物照片,LHM就能在几秒钟内生成一个高质量的可动画3D模型,无需繁琐的后处理流程。该模型不仅能精确保留服装纹理、面部细节等关键信息,还支持基于姿态控制的实时动画渲染,为用户提供沉浸式的体验。

技术原理:多模态Transformer与3D高斯点云

LHM的技术突破得益于其独特的多模态Transformer架构。该架构融合了3D几何特征(从SMPL-X模板采样得到的表面点)和2D图像特征(从预训练的视觉Transformer提取),有效处理了几何和视觉信息。针对头部区域,LHM还设计了多尺度特征提取方案,增强了面部细节的恢复能力。

此外,LHM采用3D高斯点云(Gaussian Splatting)来表示3D模型,支持实时、高质量的渲染。网络直接预测高斯点云的参数(如位置、旋转、缩放、颜色等),实现了从输入图像到3D模型的快速转换。

为了提升模型的泛化能力,LHM采用了自监督学习方法,基于大规模视频数据进行训练,并引入“尽可能接近”和“尽可能接近球形”的正则化项,保持3D模型的几何合理性。

应用场景:潜力无限

LHM的应用前景十分广阔:

  • 虚拟现实(VR)和增强现实(AR): 快速将照片转化为可动画化的3D虚拟角色,增强沉浸感和交互性。
  • 游戏开发: 快速生成高质量3D角色模型,支持实时动画,提升开发效率和游戏体验。
  • 影视制作: 用于特效制作和动画电影,快速生成角色模型,提升制作效率和质量。
  • 社交媒体和内容创作: 用户可生成3D虚拟形象用于社交媒体,创作者可快速生成3D角色用于短视频等。
  • 教育和培训: 创建虚拟教师或助教用于在线教育,生成3D模型用于医疗、军事等领域的模拟训练。

开源与体验

阿里巴巴通义实验室选择开源LHM,旨在推动相关技术的发展和应用。研究人员和开发者可以通过以下链接获取更多信息并体验LHM:

LHM的开源,无疑将为3D建模和动画领域带来新的活力,加速相关技术的创新和应用,为用户带来更加丰富和便捷的体验。

参考文献:


>>> Read more <<<

Views: 0

0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注