腾讯与香港大学、上海AI实验室、清华大学和广东工业大学等机构的研究人员近日共同发布了一款名为MotionCtrl的运动控制器，该控制器专为视频生成模型设计，旨在实现对视频中相机运动和物体运动视角的独立、灵活控制。这一创新工具的出现，将进一步推动AI在视频生成领域的应用和发展。
MotionCtrl的核心功能
MotionCtrl由相机运动控制模块（CMCM）和物体运动控制模块（OMCM）组成，能够与潜在视频扩散模型协同工作，提供对生成视频运动视角的精确控制。用户可以通过以下方式利用MotionCtrl：
- 搭配模型生成视频：与VideoCrafter、Stable Video Diffusion等视频生成模型结合，根据文本提示生成包含连贯运动效果的视频。
- 控制相机运动：用户可以指定相机的平移、缩放和旋转等运动方式，生成符合指令的视频。
- 控制物体运动：精确控制物体的移动路径、速度和方向，确保与文本描述或用户指定轨迹一致。
- 组合运动控制：同时控制相机和物体运动，实现复杂的运动场景。
- 适应多种相机姿态和轨迹：经过训练，MotionCtrl能适应各种相机和物体运动，无需针对每种新情况重新训练模型。
工作原理
MotionCtrl的工作原理依赖于CMCM和OMCM与LVDM的协同。CMCM通过时间变换器将相机姿态信息融入视频生成，OMCM则通过卷积层和下采样操作处理物体轨迹，指示物体在每一帧中的位置。这两个模块的结合使得MotionCtrl能够生成符合用户指令的动态视频内容。
训练策略
MotionCtrl的训练过程分为两个阶段，确保模块能够有效学习和适应各种运动模式，从而在生成视频时实现用户期望的运动控制效果。
MotionCtrl的发布，标志着AI在视频内容创作上的进步，为用户提供了更高级别的定制化和控制能力，有望在广告、电影制作、游戏动画等领域产生广泛影响。
【source】https://ai-bot.cn/motionctrl/
Views: 0