腾讯联合上海交大推出AI视频生成框架MimicMotion：让静态图像动起来
腾讯研究院与上海交通大学联合推出了一款名为MimicMotion的AI视频生成框架，该框架能够根据用户提供的姿态序列生成高质量、长时间且符合特定动作指导的人类动作视频。 这项技术突破将为视频制作、游戏开发、虚拟现实等领域带来新的可能性。
MimicMotion的核心优势在于其强大的姿态引导功能，能够根据用户提供的姿态序列生成相应的动作。无论是舞蹈、运动还是日常活动，只要提供相应的姿态序列，MimicMotion都能够创造出相应的动态视频。此外，该框架还拥有以下特点：
*生成多样化视频： MimicMotion能够生成各种动作的视频内容，满足用户不同的需求。
* 控制视频长度： 用户可以根据自己的需求指定视频的持续时间，MimicMotion能够生成从几秒钟的短片段到几分钟甚至更长的完整视频。
* 姿态引导控制： 框架使用参考姿态作为条件，确保生成的视频内容在动作上与指定的姿态保持一致，实现高度定制化的视频生成。
* 细节质量保证： MimicMotion特别关注视频中的细节，尤其是手部等容易失真区域。通过置信度感知的策略，系统能够在这些区域提供更清晰的视觉效果。
* 时间平滑性： MimicMotion确保视频帧之间的过渡平滑，避免出现卡顿或不连贯的现象，使得视频看起来更加流畅自然。
* 减少图像失真： 通过置信度感知的姿态引导，MimicMotion能够识别并减少由于姿态估计不准确导致的图像失真，尤其是在人物手部区域。
* 长视频生成： MimicMotion采用渐进式潜在融合技术，允许系统在生成长视频时保持高时间连贯性。该技术通过在视频段之间融合潜在特征，有效避免了闪烁和不连贯现象。
* 资源消耗控制： MimicMotion优化算法以确保资源消耗保持在合理范围内，即使在生成较长视频时，也能有效地管理计算资源，避免过高的成本。
MimicMotion的技术原理基于姿态引导的视频生成，利用用户提供的姿态序列作为输入条件，引导视频内容的生成。框架引入了置信度的概念，通过分析姿态估计模型提供的置信度分数，对姿态序列中的每个关键点进行加权，从而提高生成视频的质量。此外，MimicMotion还使用了潜在扩散模型和渐进式潜在融合策略，进一步提高了生成效率和质量。
MimicMotion的推出将为视频制作、游戏开发、虚拟现实等领域带来新的可能性。 例如，它可以用于制作更加逼真的动画电影、游戏角色，以及虚拟现实场景中的互动体验。此外，MimicMotion还可以用于制作个性化的视频内容，例如根据用户提供的照片和动作生成个性化的视频祝福或纪念视频。
MimicMotion的官方项目主页为：https://tencent.github.io/MimicMotion/，感兴趣的用户可以访问该网站了解更多信息。
【source】https://ai-bot.cn/mimicmotion-2/
Views: 1