腾讯与清华联手打造高分辨率视频扩展技术 “Follow-Your-Canvas”
北京，2024年10月25日 – 腾讯混元团队与清华大学等机构合作研发的“Follow-Your-Canvas”高分辨率视频扩展技术近日正式发布。该技术通过分布式处理和布局对齐两个核心设计，能够将视频内容扩展到任意分辨率，并保持与原视频的无缝衔接和高质量内容生成。
“Follow-Your-Canvas”的核心优势在于能够克服 GPU 内存限制，处理大规模视频外绘任务，并在各种分辨率和宽高比配置中实现最佳效果。该技术主要功能包括：
- 高分辨率输出： 将视频内容扩展到任意分辨率，例如从 4K 扩展到 8K 或更高。
- 不受显存大小限制： 处理大规模视频外延任务，不受显存大小限制。
- 时空一致性： 在扩展过程中，保持视频的空间和时间一致性，确保最终输出的视频质量与原视频风格一致。
- 生成丰富新内容： 在指定的扩展区域生成与原视频风格一致的新内容，提升整体视觉效果。
- 大规模视频外延： 在大规模视频外延方面表现出色，例如将 512×512 分辨率的视频扩展到 1152×2048（约 9 倍）分辨率。
“Follow-Your-Canvas”的技术原理主要基于以下三个关键要素：
- 空间窗口分割： 视频被分割成多个空间窗口，每个窗口独立进行内容生成，然后无缝合并，能处理任意大小和分辨率的视频而不受 GPU 内存限制。
- 布局编码器（Layout Encoder）： 通过布局编码器提取源视频的全局布局信息，注入到每个窗口的生成过程中，确保新生成的内容与原视频布局协调一致。
- 相对区域嵌入（Relative Region Embedding, RRE）： 提供源视频与目标窗口之间的相对位置关系，进一步指导每个窗口的生成过程，生成与原视频布局相协调的扩展内容，提高空间和时间一致性。
“Follow-Your-Canvas”技术的应用场景非常广泛，例如：
- 视频尺寸调整： 将手机拍摄的竖屏视频扩展为横屏，适应不同的播放需求，例如在社交媒体上的展示或在宽屏电视上的观看。
- 超宽屏视频生成： 将普通视频扩展为超宽屏视频，提供更广阔的视野，适用于电影院或超宽屏显示器的播放。
- 全景视频制作： 基于视频扩展技术，将普通视频转换为全景视频，增强观看体验，适用于虚拟现实 (VR) 和 360 度视频制作。
- 高分辨率视频输出： 能处理高达 16K 分辨率的视频输出，适用于需要高清晰度视频的场合，如电影制作或高质量广告片。
“Follow-Your-Canvas”技术的推出，标志着视频扩展技术迈入了新的发展阶段。该技术将为视频制作、内容传播、虚拟现实等领域带来更多可能性，为用户提供更优质的视觉体验。
项目地址：
- 项目官网：follow-your-canvas.github.io
- GitHub 仓库：https://github.com/mayuelala/FollowYourCanvas
- arXiv 技术论文：https://arxiv.org/pdf/2409.01055
结语：
“Follow-Your-Canvas”技术的出现，不仅是腾讯混元团队与清华大学合作的成果，更是人工智能技术在视频领域应用的又一次突破。相信未来，随着技术的不断发展和应用场景的不断拓展，视频扩展技术将为我们带来更多惊喜和改变。
Views: 0