北京 – 阿里巴巴通义实验室近日开源了其最新研发成果——LHM (Large Animatable Human Reconstruction Model)，一款能够从单张图像快速重建可动画3D人体模型的AI工具。这一突破性的技术，有望大幅降低VR/AR、游戏开发、影视制作等领域对高质量3D人物模型的需求，加速相关应用的开发进程。
LHM的核心优势在于其高效性和高保真度。用户只需提供一张人物照片，LHM即可在几秒钟内生成一个可供动画编辑的3D模型，无需繁琐的后期处理。该模型不仅保留了服装纹理、面部细节等关键信息，还支持基于姿态控制的实时动画渲染，为用户带来更加逼真的沉浸式体验。
技术解析：多模态Transformer架构与3D高斯点云表示
LHM的强大功能得益于其独特的技术架构。它采用了多模态Transformer架构，将从SMPL-X模板采样的3D几何特征与从预训练视觉Transformer提取的2D图像特征进行融合，有效处理了几何和视觉信息。针对头部区域，LHM还设计了多尺度特征提取方案，增强了面部细节的恢复能力。
此外，LHM使用3D高斯点云（Gaussian Splatting）来表示3D模型。这种表示方法支持实时、高质量的渲染，并允许网络直接预测高斯点云的参数，从而实现从输入图像到3D模型的快速转换。
为了提高模型的泛化能力，LHM采用了自监督学习方法，基于大规模视频数据进行训练，并通过渲染损失和正则化项来优化模型，无需依赖稀缺的3D扫描数据。
应用前景广阔，赋能多行业创新
LHM的开源，无疑将为众多行业带来新的机遇：
- 虚拟现实（VR）和增强现实（AR）： 快速生成可动画化的3D虚拟角色，增强沉浸感和交互性。
- 游戏开发： 快速生成高质量3D角色模型，支持实时动画，提升开发效率和游戏体验。
- 影视制作： 用于特效制作和动画电影，快速生成角色模型，提升制作效率和质量。
- 社交媒体和内容创作： 用户可生成3D虚拟形象用于社交媒体，创作者可快速生成3D角色用于短视频等。
- 教育和培训： 创建虚拟教师或助教用于在线教育，生成3D模型用于医疗、军事等领域的模拟训练。
开源信息与体验入口
目前，LHM已在GitHub上开源，并提供在线体验Demo。感兴趣的开发者和研究人员可以通过以下链接获取更多信息：
- 项目官网： https://lingtengqiu.github.io/LHM/
- GitHub仓库： https://github.com/aigc3d/LHM
- arXiv技术论文： https://arxiv.org/pdf/2503.10625
- 在线体验Demo： https://huggingface.co/spaces/DyrusQZ/LHM
LHM的开源，标志着阿里巴巴通义实验室在3D人体建模领域取得了重要进展。相信随着技术的不断发展和完善，LHM将在更多领域发挥重要作用，推动数字内容创作的创新与发展。
Views: 0