Adobe推出AI视频编辑框架VideoDoodles

Adobe推出AI视频编辑框架VideoDoodles，让手绘动画与视频无缝融合

北京时间2023年10月26日 – Adobe公司联合多所大学推出了一款名为VideoDoodles的AI视频编辑框架，旨在简化视频制作流程，让用户能够轻松地将手绘动画融入视频内容，实现无缝融合。

VideoDoodles的核心功能在于其强大的动画插入和自动融合能力。用户只需在视频中选择目标区域，即可在虚拟的平面画布上绘制动画，系统会自动处理透视和遮挡效果，将动画与视频内容完美融合。此外，VideoDoodles还支持3D场景绘制，用户可以在三维空间中放置平面画布，实现更逼真的动画效果。

VideoDoodles的跟踪算法也是其一大亮点。该算法能够使动画跟随视频中的物体移动，简化了动画制作流程。用户可以通过设置关键帧来控制动画的起始和结束状态，系统会自动生成中间动画，省去了逐帧绘制的繁琐步骤。

VideoDoodles的技术原理

VideoDoodles的技术原理主要依赖于视频预处理、平面画布映射、跟踪算法和自动化动画生成等关键环节：

视频预处理: VideoDoodles会对输入的视频进行分析，提取每帧的摄像机姿态、深度图和光流信息，为后续的动画合成打下基础。
平面画布映射: 用户在3D空间中放置虚拟的平面画布，画布可以映射到视频的特定区域。VideoDoodles利用摄像机姿态和深度图信息，自动渲染出具有正确透视和遮挡效果的画布。
跟踪算法: VideoDoodles采用自定义的跟踪算法，使画布能够跟随视频中的静态或动态物体移动。用户可以通过设置关键帧来控制画布的位置和方向，系统会自动计算出最佳的3D轨迹。
自动化动画生成: 一旦用户在关键帧上绘制了动画元素，VideoDoodles就会自动生成整个动画过程，无需用户逐帧绘制。

VideoDoodles的应用场景

VideoDoodles的应用场景十分广泛，可以应用于社交媒体内容创作、教育视频制作、商业广告以及电影和视频后期制作等领域：

VideoDoodles的推出为视频制作领域带来了新的可能性，为用户提供了更便捷、更具创意的视频编辑工具。相信随着技术的不断发展，VideoDoodles将会在未来发挥更大的作用，为用户带来更多精彩的视频体验。

项目地址:

【source】https://ai-bot.cn/videodoodles/