快手开源人像动画生成框架LivePortrait：赋能内容创作，引领技术革新
北京，2024年8月20日 – 快手今日宣布开源其人像动画生成框架LivePortrait，该框架专注于高效、可控地将驱动视频的表情和姿态迁移至静态或动态人像，创造出富有表现力的视频。LivePortrait的开源将为内容创作者、开发者和研究人员提供强大的工具，推动人像动画技术的应用和发展。
LivePortrait：高效、可控、泛化性强
LivePortrait的核心优势在于其高效性、可控性和泛化能力。该框架在RTX4090 GPU上单帧生成速度可达12.8毫秒，展现出极高的处理速度。同时，LivePortrait利用隐式关键点和轻量级MLP网络，增强了对动画生成过程的控制能力，用户可以根据需要调整表情和姿态的细微变化。此外，通过视频-图片混合训练策略和大规模高质量训练数据，LivePortrait具备良好的泛化性，能够适应不同风格和身份的人像。
技术亮点：升级网络结构，关键点引导优化
LivePortrait的技术原理基于深度学习，通过对外观提取器、运动提取器、扭曲模块和解码器进行优化，实现表情和姿态的迁移。该框架采用了升级的网络结构，将规范隐式关键点估计网络、头部姿态估计网络和表情变形估计网络统一为一个单一模型，并采用ConvNeXt-V2-Tiny为其结构，直接估计输入图片的规范隐式关键点、头部姿态和表情变形。此外，LivePortrait还引入了2D关键点来捕捉微表情，用关键点引导的损失作为隐式关键点优化的引导，进一步提升了动画生成的精度和自然度。
应用场景：社交媒体、虚拟主播、影视制作
LivePortrait的应用场景十分广泛，可以赋能多种内容创作形式。在社交媒体领域，用户可将自己的照片或视频转换成动态内容，用于社交媒体平台，增加互动性和吸引力。在虚拟主播和直播领域，LivePortrait技术可以创建虚拟形象进行直播或视频制作，无需真人出镜，适用于游戏直播、教育讲解等场景。在影视和动画制作领域，LivePortrait可用于角色的表情捕捉和动画生成，提高制作效率，降低成本。
开源社区反响热烈
LivePortrait的开源引起了开发者和研究人员的热烈反响。该框架的GitHub页面提供了详细的使用指南和资源，方便用户快速上手。LivePortrait的开源将进一步推动人像动画技术的普及和应用，为内容创作领域带来更多可能性。
结语
快手开源LivePortrait人像动画生成框架，展现了其在人工智能领域的领先技术实力，也体现了其推动技术进步、赋能内容创作的决心。相信LivePortrait的开源将为内容创作领域带来更多创新和活力，推动人像动画技术的发展和应用。
【source】https://ai-bot.cn/liveportrait/
Views: 0