好的，请看下面这篇基于您提供的信息撰写的新闻稿，我将尽力按照您提出的要求，进行深入研究、构建清晰结构、确保内容准确和原创性，并使用引人入胜的标题和引言，最后提供结论和参考文献。

南大联合蚂蚁等机构开源 LeviTor：3D目标轨迹控制视频合成技术新突破

引言：

在人工智能技术日新月异的今天，视频合成领域正迎来一场革命性的变革。长期以来，精确控制视频中物体运动轨迹一直是该领域的难题。然而，近日，由南京大学、蚂蚁集团、浙江大学等机构联合研发的 LeviTor技术横空出世，为这一难题提供了全新的解决方案。这项开源的 3D 目标轨迹控制视频合成技术，不仅能够精确操控视频中物体的运动，还极大地简化了用户操作流程，为电影特效、游戏动画、虚拟现实等领域带来了无限可能。LeviTor 的出现，标志着视频合成技术迈向了一个新的里程碑，也为广大开发者和创意工作者打开了一扇通往无限创意的大门。

正文：

1. LeviTor：打破传统视频合成壁垒

长期以来，视频合成技术一直面临着一个挑战：如何精确控制视频中物体的运动轨迹，使其与现实世界中的运动规律相符。传统的视频编辑软件虽然可以实现简单的物体移动，但对于复杂的 3D 运动轨迹，往往显得力不从心。此外，传统的 3D 建模和动画制作过程繁琐复杂，需要专业的技术人员和大量的制作时间，这无疑限制了视频合成技术的普及和应用。

LeviTor 的出现，打破了这一壁垒。它巧妙地结合了深度信息和 K-means 聚类算法，实现了对视频中 3D 物体轨迹的精确控制，而无需进行显式的 3D 轨迹跟踪。这一创新性的方法，不仅提高了视频合成的精度，还大大简化了用户操作流程，让普通用户也能轻松上手。

2. LeviTor 的核心技术原理：深度信息与 K-means 聚类的巧妙结合

LeviTor 的核心技术原理在于其对深度信息和 K-means 聚类算法的巧妙运用。具体而言，该技术主要包含以下几个步骤：

• K-means 聚类： LeviTor 首先对视频对象掩码（mask）的像素进行 K-means 聚类，将像素点划分为若干个簇，每个簇的中心点代表一个控制点。这些控制点将作为后续控制物体运动轨迹的基础。

• 深度信息融合： 为了使控制点具有 3D 空间信息，LeviTor 使用深度估计网络 DepthAnythingV2 预测相对深度图，并在每个控制点采样深度。通过将 2D 坐标与深度信息相结合，每个控制点都获得了 3D 空间坐标，从而为控制 3D 物体运动轨迹提供了基础。

• 控制信号构建： LeviTor 将控制点的 2D 坐标和估计的深度值结合起来，构建成控制轨迹。这些轨迹将作为视频扩散模型的控制信号，指导视频生成。

• 视频扩散模型： 最后，LeviTor 将控制信号输入到视频扩散模型中，生成与 3D 轨迹对齐的视频。扩散模型能够根据控制信号生成高质量的视频帧，并确保物体按照预定的 3D 轨迹运动。

3. 用户友好的推理流程：简化 3D 轨迹输入

LeviTor的一大亮点在于其用户友好的推理流程。为了降低技术门槛，LeviTor 设计了一套交互式系统，用户只需在 2D 图像上绘制简单的轨迹，并调整深度值，即可输入 3D 轨迹。系统会自动提取图像中的深度信息和物体掩码，并将其转化为 3D 轨迹控制信号。

这种交互式的操作方式，大大简化了用户输入，让普通用户也能轻松上手。用户不再需要掌握复杂的 3D 建模和动画制作知识，只需通过简单的点击和拖拽操作，即可实现对视频中物体运动轨迹的精确控制。

4. LeviTor 的强大功能：精确操控物体运动、增强创意应用

LeviTor 具备以下主要功能：

• 精确操控物体运动： LeviTor 能够在从静态图像生成视频时，精确控制物体的运动轨迹。用户可以根据自己的需求，自由设定物体的运动方向、速度和路径，实现各种复杂的运动效果。

• 增强创意应用： 基于 3D 轨迹控制，LeviTor 极大地拓宽了视频合成的创意应用范围。用户可以利用 LeviTor 创造出各种新颖的视频效果，例如，让物体在三维空间中自由穿梭、旋转、变形，从而为视频内容增添更多的视觉冲击力。

• 简化用户输入： 用户只需在 2D 图像上绘制简单的轨迹，并调整深度值，即可输入 3D 轨迹。系统会自动提取图像中的深度信息和物体掩码，并将其转化为 3D 轨迹控制信号。这种交互式的操作方式，大大降低了技术门槛，让普通用户也能轻松上手。

• 自动提取深度信息和物体掩码： LeviTor 系统能够自动从图像中提取深度信息和物体掩码，减少了用户的手动操作，提高了视频合成的效率。

• 交互式轨迹绘制： 用户可以通过交互式地绘制物体轨迹，系统将其解释为 3D 路径。这种直观的操作方式，让用户能够更加灵活地控制物体的运动轨迹。

5. LeviTor 的广泛应用场景：从电影特效到虚拟现实

LeviTor 的出现，为各行各业带来了新的机遇。其广泛的应用场景包括：

• 电影特效制作： LeviTor 可以用于生成逼真的特效场景，减少实地拍摄成本，提高制作效率。电影制作人员可以利用 LeviTor 创造出各种惊险刺激的特效镜头，例如，让汽车在空中飞驰、让建筑物瞬间坍塌等。

• 游戏动画生成： 在游戏开发中，LeviTor 可以用于创造动态的游戏背景和角色动画，增强游戏的沉浸感。游戏开发者可以利用 LeviTor 制作出各种流畅自然的动画效果，例如，让角色在场景中自由奔跑、跳跃、战斗等。

• 虚拟现实体验： 在 VR 应用中，LeviTor 可以用于合成逼真的虚拟环境，为用户提供更加真实的沉浸式体验。VR 开发者可以利用 LeviTor 创建出各种栩栩如生的虚拟场景，例如，让用户身临其境地体验海底世界、太空旅行等。

• 增强现实展示： 在 AR 领域，LeviTor 可以将虚拟信息与现实世界无缝结合，用于教育、导航等场景。AR 开发者可以利用 LeviTor 将虚拟物体叠加到现实场景中，例如，让用户在手机屏幕上看到虚拟的地图导航、虚拟的商品展示等。

• 广告视频制作： LeviTor可以用于制作动态广告视频，吸引观众注意力，提升品牌形象和产品吸引力。广告制作人员可以利用 LeviTor 创造出各种引人注目的广告效果，例如，让产品在空中旋转、变形、展示其独特的功能等。

6. 开源的 LeviTor：促进技术普及和创新

LeviTor 的开源，无疑是其最大的亮点之一。通过开放源代码，LeviTor 将其强大的技术能力分享给全球的开发者和研究人员，促进了视频合成技术的普及和创新。

• 项目官网： ppetrichor.github.io/levitor
• GitHub 仓库： https://github.com/qiuyu96/LeviTor
• HuggingFace 模型库： https://huggingface.co/hlwang06/LeviTor
• arXiv 技术论文： https://arxiv.org/pdf/2412.15214

通过这些开源平台，开发者可以轻松获取 LeviTor 的源代码、模型和技术文档，并在此基础上进行二次开发和创新。这无疑将加速视频合成技术的发展，并催生出更多新颖的应用场景。

7. LeviTor 的未来展望：无限可能

LeviTor 的出现，标志着视频合成技术迈向了一个新的阶段。其强大的功能、用户友好的操作方式和开源的特性，使其具备了广阔的应用前景。随着技术的不断发展，LeviTor 将在电影特效、游戏动画、虚拟现实、增强现实、广告视频等领域发挥越来越重要的作用。

未来，我们有理由相信，LeviTor 将会不断完善和发展，为我们带来更多惊喜。例如，我们可以期待 LeviTor 在以下方面取得新的突破：

• 更高的视频生成质量：通过不断优化算法和模型，LeviTor 将能够生成更加逼真、细腻的视频效果。

• 更强的物体运动控制能力： LeviTor 将能够实现对物体运动轨迹更加精细的控制，例如，让物体在三维空间中进行复杂的运动和变形。

• 更智能的交互方式： LeviTor 将能够支持更加智能的交互方式，例如，通过语音指令或手势控制物体运动轨迹。

• 更广泛的应用场景： LeviTor 将会应用于更多领域，例如，教育、医疗、工业等，为各行各业带来新的发展机遇。

结论：

LeviTor 的开源，不仅是一项技术突破，更是一种开放合作精神的体现。它为视频合成领域注入了新的活力，也为广大开发者和创意工作者提供了强大的工具。我们有理由相信，在 LeviTor 的推动下，视频合成技术将会迎来更加辉煌的未来。这项技术不仅将改变我们制作和观看视频的方式，还将为我们的生活带来更多的便利和乐趣。随着 LeviTor 的不断发展和完善，我们有理由期待它在未来为我们带来更多的惊喜和可能性。

参考文献：

• LeviTor 项目官网：ppetrichor.github.io/levitor
• LeviTor GitHub 仓库：https://github.com/qiuyu96/LeviTor
• LeviTor HuggingFace 模型库：https://huggingface.co/hlwang06/LeviTor
• LeviTor arXiv 技术论文：https://arxiv.org/pdf/2412.15214
• AI工具集网站：https://www.aigongjuji.com/ (用于获取 LeviTor 相关信息)

希望这篇新闻稿符合您的要求，我尽力在深度、广度和可读性上都做到了兼顾。如有任何需要修改的地方，请随时告诉我。

>>> Read more <<<

Views: 0