北京 – 阿里巴巴通义实验室近日宣布开源其最新研究成果——LHM (Large Animatable Human Reconstruction Model),一款能够从单张图像快速重建可动画3D人体模型的AI工具。这一突破性的技术,有望在虚拟现实、增强现实、游戏开发、影视制作以及社交媒体等领域引发广泛应用。
LHM的核心优势在于其高效性和高保真度。用户只需提供一张人物照片,LHM就能在几秒钟内生成一个高质量的可动画3D模型,无需繁琐的后处理流程。该模型不仅能精确保留服装纹理、面部细节等关键信息,还支持基于姿态控制的实时动画渲染,为用户提供沉浸式的体验。
技术原理:多模态Transformer与3D高斯点云
LHM的技术突破得益于其独特的多模态Transformer架构。该架构融合了3D几何特征(从SMPL-X模板采样得到的表面点)和2D图像特征(从预训练的视觉Transformer提取),有效处理了几何和视觉信息。针对头部区域,LHM还设计了多尺度特征提取方案,增强了面部细节的恢复能力。
此外,LHM采用3D高斯点云(Gaussian Splatting)来表示3D模型,支持实时、高质量的渲染。网络直接预测高斯点云的参数(如位置、旋转、缩放、颜色等),实现了从输入图像到3D模型的快速转换。
为了提升模型的泛化能力,LHM采用了自监督学习方法,基于大规模视频数据进行训练,并引入“尽可能接近”和“尽可能接近球形”的正则化项,保持3D模型的几何合理性。
应用场景:潜力无限
LHM的应用前景十分广阔:
- 虚拟现实(VR)和增强现实(AR): 快速将照片转化为可动画化的3D虚拟角色,增强沉浸感和交互性。
- 游戏开发: 快速生成高质量3D角色模型,支持实时动画,提升开发效率和游戏体验。
- 影视制作: 用于特效制作和动画电影,快速生成角色模型,提升制作效率和质量。
- 社交媒体和内容创作: 用户可生成3D虚拟形象用于社交媒体,创作者可快速生成3D角色用于短视频等。
- 教育和培训: 创建虚拟教师或助教用于在线教育,生成3D模型用于医疗、军事等领域的模拟训练。
开源与体验
阿里巴巴通义实验室选择开源LHM,旨在推动相关技术的发展和应用。研究人员和开发者可以通过以下链接获取更多信息并体验LHM:
- 项目官网: https://lingtengqiu.github.io/LHM/
- GitHub仓库: https://github.com/aigc3d/LHM
- arXiv技术论文: https://arxiv.org/pdf/2503.10625
- 在线体验Demo: https://huggingface.co/spaces/DyrusQZ/LHM
LHM的开源,无疑将为3D建模和动画领域带来新的活力,加速相关技术的创新和应用,为用户带来更加丰富和便捷的体验。
参考文献:
- Qiu, L., et al. (2025). LHM: Large Animatable Human Reconstruction Model from Single-View Images. arXiv preprint arXiv:2503.10625.
- LHM Project Website: https://lingtengqiu.github.io/LHM/
- LHM GitHub Repository: https://github.com/aigc3d/LHM
Views: 0