腾讯与清华联手打造高分辨率视频扩展技术：Follow-Your-Canvas，开启视频新纪元
北京，2024年10月25日 – 腾讯混元团队与清华大学等机构合作推出的高分辨率视频扩展技术“Follow-Your-Canvas”，近日正式发布。该技术突破了传统视频扩展的局限性，能够将视频内容扩展到任意分辨率，并保持与原视频的无缝衔接和高质量内容生成。这一创新将为视频创作、观看和传播带来革命性的改变。
Follow-Your-Canvas：突破传统，开启视频新纪元
传统的视频扩展技术往往面临着分辨率限制、GPU内存不足、生成内容质量低等问题。而Follow-Your-Canvas则通过分布式处理和布局对齐两个核心设计，有效地解决了这些难题。
高分辨率输出： Follow-Your-Canvas能够将视频内容扩展到任意分辨率，例如从4K扩展到8K或更高。这意味着用户可以将手机拍摄的竖屏视频扩展为横屏，适应不同的播放需求；也可以将普通视频扩展为超宽屏视频，提供更广阔的视野；甚至可以将普通视频转换为全景视频，增强观看体验，适用于虚拟现实(VR)和360度视频制作。
不受显存大小限制： Follow-Your-Canvas能够处理大规模视频外延任务，不会受到显存大小的限制。这意味着用户可以轻松地处理高分辨率视频，而无需担心硬件配置的限制。
时空一致性： Follow-Your-Canvas在扩展过程中，保持视频的空间和时间一致性，确保最终输出的视频质量与原视频风格一致。这意味着用户可以获得与原视频风格一致的扩展内容，而不会出现画质下降或风格不一致的问题。
生成丰富新内容： Follow-Your-Canvas在指定的扩展区域生成与原视频风格一致的新内容，提升整体视觉效果。这意味着用户可以获得更丰富、更具视觉冲击力的视频内容，而不仅仅是简单的放大或缩小。
大规模视频外延： Follow-Your-Canvas在大规模视频外延方面表现出色，例如将512×512分辨率的视频扩展到1152×2048（约9倍）分辨率。这意味着用户可以轻松地将低分辨率视频扩展为高分辨率视频，而无需担心性能问题。
Follow-Your-Canvas的技术原理
Follow-Your-Canvas的核心技术原理在于空间窗口分割、布局编码器和相对区域嵌入。
空间窗口分割： 视频被分割成多个空间窗口，每个窗口独立进行内容生成，然后无缝合并。这种方法能够处理任意大小和分辨率的视频，而不受 GPU 内存限制。
布局编码器： 通过布局编码器提取源视频的全局布局信息，注入到每个窗口的生成过程中，确保新生成的内容与原视频布局协调一致。
相对区域嵌入： 提供源视频与目标窗口之间的相对位置关系，进一步指导每个窗口的生成过程，生成与原视频布局相协调的扩展内容，提高空间和时间一致性。
分布式生成： 在多个 GPU 上并行处理各个窗口的内容生成，最后将生成的窗口无缝合并成最终的视频。
Follow-Your-Canvas的应用场景
Follow-Your-Canvas拥有广泛的应用场景，包括：
- 视频尺寸调整： 将手机拍摄的竖屏视频扩展为横屏，适应不同的播放需求，例如在社交媒体上的展示或在宽屏电视上的观看。
- 超宽屏视频生成： 将普通视频扩展为超宽屏视频，提供更广阔的视野，适用于电影院或超宽屏显示器的播放。
- 全景视频制作： 基于视频扩展技术，将普通视频转换为全景视频，增强观看体验，适用于虚拟现实(VR)和360度视频制作。
- 高分辨率视频输出： 能处理高达16K分辨率的视频输出，适用于需要高清晰度视频的场合，如电影制作或高质量广告片。
Follow-Your-Canvas的未来展望
Follow-Your-Canvas的发布，标志着视频扩展技术迈入了新的发展阶段。未来，随着技术的不断发展，Follow-Your-Canvas将更加智能化、个性化，为用户带来更加丰富、更具沉浸感的视频体验。
Follow-Your-Canvas的项目地址
- 项目官网：follow-your-canvas.github.io
- GitHub仓库：https://github.com/mayuelala/FollowYourCanvas
- arXiv技术论文：https://arxiv.org/pdf/2409.01055
结语
Follow-Your-Canvas是腾讯与清华大学合作的又一重大成果，它将为视频行业带来革命性的改变，推动视频技术的不断发展，为用户带来更加精彩的视频体验。
Views: 0