把Waymo玩成GTA游戏！全生成式的车辆行驶轨迹视频合成器来了
机器之心报道
编辑：张倩
近年来，自动驾驶技术发展迅速，其中一个关键领域是新视角合成，即根据已有的驾驶场景数据，生成不同视角下的视频。这项技术可以帮助我们更好地理解驾驶场景，并为自动驾驶系统提供更全面的信息。
传统的新视角合成方法通常依赖于场景重建，即先将场景的三维模型重建出来，然后再根据新的视角进行渲染。然而，这种方法存在两个主要问题：
- 无法合理渲染缺少对应观测的新视角上的图像。 比如，如果场景中没有记录过某个特定视角，那么基于重建的方法就无法生成该视角下的图像。
- 场景重建耗时长。 通常需要 2-3 个小时才能完成场景重建，这限制了该方法在实际应用中的效率。
为了解决这些问题，来自中科院自动化所的团队提出了一种名为 FreeVS 的全生成式新视角合成方法。FreeVS 不需要进行场景重建，而是直接基于已观测到的三维场景生成任意视角的相机观测。
FreeVS 的工作原理
FreeVS 采用了一种简洁有效的生成管线，其核心思想是基于稀疏点云投影恢复相机成像。具体来说，FreeVS 使用一个生成模型，该模型学习基于给定帧的三维先验生成邻近帧的相机成像。在训练过程中，生成模型学习基于给定帧的三维先验生成邻近帧的相机成像。即使训练数据中驾驶车辆在绝大多数情况下走直线前行，但生成模型可沿车辆轨迹在侧向相机视角学习相机视角的横向移动。
在测试阶段，以图像信息染色的场景三维点云被投影至任意所需视角，以控制图像生成结果。
FreeVS 的优势
与传统方法相比，FreeVS 具有以下优势：
- 无需场景重建。 FreeVS 可以直接基于已观测到的三维场景生成任意视角的相机观测，无需进行耗时的场景重建过程。
- 能够渲染缺少对应观测的新视角上的图像。 FreeVS 可以根据已有的数据生成任意视角下的图像，即使该视角从未被记录过。
- 生成速度快。 FreeVS 的生成速度非常快，可以实时生成新视角下的视频。
FreeVS 的应用
FreeVS 可以应用于多个领域，例如：
- 自动驾驶。 FreeVS 可以帮助自动驾驶系统更好地理解驾驶场景，并为其提供更全面的信息。
- 虚拟现实。FreeVS 可以用于生成虚拟现实场景，为用户提供更身临其境的体验。
- 游戏开发。 FreeVS 可以用于生成游戏场景，为游戏开发者提供更便捷的工具。
FreeVS 的未来展望
FreeVS 是一种非常有前景的新视角合成方法，它为自动驾驶、虚拟现实和游戏开发等领域带来了新的可能性。未来，研究人员将继续改进 FreeVS，使其能够生成更高质量、更逼真的图像，并扩展其应用范围。
总结
FreeVS 的出现为新视角合成领域带来了新的突破，它不仅解决了传统方法的局限性，还为自动驾驶、虚拟现实和游戏开发等领域带来了新的可能性。相信随着技术的不断发展，FreeVS 将在未来发挥更大的作用。
Views: 0