Adobe推出AI视频编辑框架VideoDoodles，让手绘动画与视频无缝融合
北京时间2023年10月26日 – Adobe公司联合多所大学推出了一款名为VideoDoodles的AI视频编辑框架，旨在简化视频制作流程，让用户能够轻松地将手绘动画融入视频内容，实现无缝融合。
VideoDoodles的核心功能在于其强大的动画插入和自动融合能力。用户只需在视频中选择目标区域，即可在虚拟的平面画布上绘制动画，系统会自动处理透视和遮挡效果，将动画与视频内容完美融合。此外，VideoDoodles还支持3D场景绘制，用户可以在三维空间中放置平面画布，实现更逼真的动画效果。
VideoDoodles的跟踪算法也是其一大亮点。该算法能够使动画跟随视频中的物体移动，简化了动画制作流程。用户可以通过设置关键帧来控制动画的起始和结束状态，系统会自动生成中间动画，省去了逐帧绘制的繁琐步骤。
VideoDoodles的技术原理
VideoDoodles的技术原理主要依赖于视频预处理、平面画布映射、跟踪算法和自动化动画生成等关键环节：
- 视频预处理: VideoDoodles会对输入的视频进行分析，提取每帧的摄像机姿态、深度图和光流信息，为后续的动画合成打下基础。
- 平面画布映射: 用户在3D空间中放置虚拟的平面画布，画布可以映射到视频的特定区域。VideoDoodles利用摄像机姿态和深度图信息，自动渲染出具有正确透视和遮挡效果的画布。
- 跟踪算法: VideoDoodles采用自定义的跟踪算法，使画布能够跟随视频中的静态或动态物体移动。用户可以通过设置关键帧来控制画布的位置和方向，系统会自动计算出最佳的3D轨迹。
- 自动化动画生成: 一旦用户在关键帧上绘制了动画元素，VideoDoodles就会自动生成整个动画过程，无需用户逐帧绘制。
VideoDoodles的应用场景
VideoDoodles的应用场景十分广泛，可以应用于社交媒体内容创作、教育视频制作、商业广告以及电影和视频后期制作等领域：
- 社交媒体内容创作: 用户可以在自己的社交媒体视频中添加有趣的手绘动画，增加视频的吸引力和互动性。
- 教育视频制作: 教师或教育工作者可以在教学视频中加入动画，以更生动的方式解释复杂的概念或过程。
- 商业广告: 广告制作者可以用VideoDoodles为产品或服务制作吸引人的动画广告，提高广告的创意和记忆点。
- 电影和视频后期制作: 视频编辑者可以在电影或视频后期制作中用VideoDoodles，为作品添加独特的视觉效果。
VideoDoodles的推出为视频制作领域带来了新的可能性，为用户提供了更便捷、更具创意的视频编辑工具。相信随着技术的不断发展，VideoDoodles将会在未来发挥更大的作用，为用户带来更多精彩的视频体验。
项目地址:
- GitHub仓库: https://github.com/adobe-research/VideoDoodles
- 技术论文: https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf
【source】https://ai-bot.cn/videodoodles/
Views: 1