研究背景与意义
三维重建是计算机图形学中的经典任务，具有广泛的应用价值。然而，对于透明物体及其嵌套结构的三维重建一直是个难题。现有的方法如神经辐射场（NeRF）等，虽然能在不需要额外输入的情况下重建具有漫反射和光滑反射的场景，但在处理透明材质及其嵌套结构时，依然存在困难。因此，如何在不依赖额外输入的情况下，仅通过手机拍照对透明物体进行三维重建，成为了一个亟待解决的问题。
研究团队与合作
本文的研究由以下机构合作完成：中国科学院计算技术研究所、加州大学圣芭芭拉分校和KIRI Innovations。其中，中国科学院计算技术研究所的高林老师团队、加州大学圣芭芭拉分校的闫令琪教授以及3D重建公司KIRI Innovations共同提出了NU-NeRF（Neural Reconstruction of Nested Transparent Objects with Uncontrolled Capture Environment）方法。该方法能够在不需要额外输入，也不需要特殊捕捉场景的情况下，对嵌套透明物体进行重建。
研究目标
本研究旨在解决透明物体及其嵌套结构的三维重建问题。具体目标是实现仅通过手机拍照对透明物体进行三维重建，无需额外的捕捉设备或特殊背景。
研究方法
外层几何重建
NU-NeRF 的第一阶段目标是重建外层几何。这一阶段的关键在于解决折射的二义性问题。NU-NeRF 的策略是将透明表面的反射和折射分开建模。对于反射颜色，NU-NeRF 使用了传统的建模方法；而对于折射颜色，NU-NeRF 利用一个 MLP（多层感知机）网络进行预测。这一策略的核心思想是在重建过程中不需要准确建模折射颜色，只需提供一个“平均化”的估计即可。
显式光线追踪和内层几何重建
在重建外层几何之后，NU-NeRF 进行内层几何的重建。这一阶段中，将第一步得到的外层几何从隐式场中提取成显式网格并固定。对于每条神经渲染的采样光线，先对其进行追踪得到和外层几何的交点，并利用折射定律计算出其折射到内部的方向。在外层几何内部再进行真正的采样和渲染。在这个过程中，折射率是通过网络预测得到的，并且在光线追踪过程中保持不变。
实验结果
实验结果表明，NU-NeRF 能够在不依赖额外输入的情况下，对嵌套透明物体进行准确的三维重建。该方法不仅能够重建外层几何，还能在新视角下进行渲染，实现了透明物体的数字化。
结论
NU-NeRF 提供了一种新的方法来解决透明物体及其嵌套结构的三维重建问题。该方法能够在不依赖额外输入的情况下，仅通过手机拍照对透明物体进行三维重建，具有重要的应用前景。未来，该方法有望在各种场景中得到广泛应用，如虚拟现实、增强现实、数字孪生等领域。
项目主页
项目主页：http://geometrylearning.com/NU-NeRF/
参考文献
[1] NeRF (Neural Radiance Fields): https://neural-rendering.github.io/nerf/
[2] Implicit Neural Representations with Periodic Activation Functions: https://arxiv.org/abs/2006.09661
[3] DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation: https://nvlabs.github.io/deepsdf/
[4] NeRO (Neural Radiance Optimization): https://github.com/raoyongming/NeRO
[5] Transparent NeRF: https://arxiv.org/abs/2103.16407
[6] Neural Reconstruction of Transparent Objects: https://arxiv.org/abs/2110.05192
[7] Learning to Reconstruct Transparent Objects: https://arxiv.org/abs/2203.07488
[8] NU-NeRF: Neural Reconstruction of Nested Transparent Objects with Uncontrolled Capture Environment: https://arxiv.org/abs/2311.00753
[9] Specialized Capture Devices: https://ieeexplore.ieee.org/document/9247887
[10] Neural Radiation Field: https://arxiv.org/abs/2003.08934
Views: 1