南洋理工大学推出AI视频修复项目ProPainter，助力视频内容创作和修复
新加坡，2023年10月26日 – 南洋理工大学S-Lab团队近日发布了名为ProPainter的AI视频修复项目，该项目利用深度学习技术，能够自动修复视频中的各种问题，包括去除不需要的物体、填补缺失部分，甚至扩展视频视野，为视频内容创作和修复提供强大的工具。
ProPainter的核心技术在于结合了双域传播和蒙版引导的稀疏视频Transformer，有效提升了视频修复的性能。该项目主要功能包括：
- 对象移除: ProPainter能够自动检测并去除视频中不需要的物体，如广告牌、行人等，同时保持背景的连贯性和自然性。
- 视频补全: 对于视频采集或传输过程中损坏或缺失部分，ProPainter能智能预测填补，恢复视频完整性和流畅性。
- 视频外扩: ProPainter的技术可以扩展视频的现有视野，根据视频内容智能生成新的背景和场景，提供更宽广的视觉体验。
ProPainter的技术原理基于以下几个关键要素：
- 双域传播: 结合了图像域和特征域的传播优势，利用全局对应关系进行可靠的信息传播。图像传播使用基于光流的变形对齐技术，进行全局像素级传播。特征传播采用学习到的偏移量来细化特征域中的传播，提高对遮挡和不准确光流的鲁棒性。
- 蒙版引导稀疏视频Transformer: 利用稀疏注意力机制减少计算复杂度和内存使用，通过丢弃查询和键/值空间中的不必要和冗余窗口，提高效率。
- 循环光流完成网络: 高效的循环网络用于完成损坏的光流场，为后续的双域传播提供精确的光流信息。
ProPainter的设计注重效率，通过GPU加速实现高效的图像传播和特征传播，并简化和优化操作，减少了CPU中心复杂和耗时的处理过程。
ProPainter的应用场景十分广泛，包括：
- 电影和视频制作: 在后期视频编辑中，ProPainter可以去除不需要的物体或标志，比如广告牌或穿帮镜头，同时补全因技术问题导致的画面缺失部分。
- 历史视频资料修复: 对于老旧或损坏的视频资料，ProPainter能填补缺失的帧或区域，恢复视频的原始面貌。
- 社交媒体内容创作: 内容创作者可以用ProPainter去除视频中的水印，提升视频的视觉效果和创意表达。
- 虚拟现实和增强现实: 在VR和AR应用中，ProPainter可以扩展视频视野，创造更加沉浸式的视觉体验。
- 视频监控和安全: 在视频监控领域，ProPainter可以去除遮挡物或填补遮挡造成的盲区，提高监控视频的可用性。
- 医学成像分析: 在医学领域，ProPainter可以用于修复医学影像，提高诊断效率。
ProPainter的推出为视频内容创作和修复领域带来了新的可能性，为用户提供了更便捷、高效的工具。该项目开源代码已发布在GitHub上，感兴趣的用户可以访问项目地址：https://github.com/sczhou/ProPainter，了解更多信息并体验ProPainter的功能。
关于南洋理工大学S-Lab团队
南洋理工大学S-Lab团队致力于计算机视觉、机器学习和人工智能等领域的科研和应用，在视频修复、图像生成、目标检测等方面取得了多项突破性成果。ProPainter项目是该团队在视频修复领域的重要成果，体现了其在人工智能技术方面的领先地位。
【source】https://ai-bot.cn/propainter/
Views: 0