摘要： VAST AI Research 团队开源了其最新研发的 TripoSG 技术，这是一种基于大规模修正流模型的高保真 3D 形状合成方案。该技术能够从单张图像生成细节惊艳的 3D 网格模型，并在多个基准测试中表现出色，为工业设计、虚拟现实、游戏开发等领域带来革命性的变革。
北京/纽约 [日期] – 人工智能在三维建模领域的应用正迎来新的突破。VAST AI Research 近日宣布开源其研发的 TripoSG 技术，这项技术利用大规模修正流（Rectified Flow, RF）模型，能够从单张输入图像高效生成高保真度的 3D 网格模型。这一创新有望大幅降低 3D 内容的生产门槛，并为各行各业带来前所未有的机遇。
技术原理：修正流与混合监督的完美结合
TripoSG 的核心在于其大规模修正流变换器架构。与传统的扩散模型相比，修正流为从噪声到数据之间提供了一条更简洁的线性路径，从而实现更稳定、高效的训练。VAST AI Research 团队首次将这种基于校正流的 Transformer 架构应用于 3D 形状生成，并通过在大量高质量数据上训练，实现了高保真度的 3D 形状生成。
为了进一步提升 3D 模型的质量，TripoSG 采用了混合监督训练策略，结合了符号距离函数（SDF）、法线和 Eikonal 损失。这种策略显著提升了 3D 变分自编码器（VAE）的重建性能，使得生成的 3D 模型在几何上更准确，细节更丰富。
VAST AI Research 团队还开发了一套完善的数据构建与治理流水线，包括质量评分、数据筛选、修复与增强、SDF 数据生产等环节。通过这一流程，TripoSG 拥有了一个包含 200 万高质量“图像-SDF”训练样本对的数据集。实验证明，在此高质量数据集上训练的模型性能显著优于在更大规模、未经过滤的原始数据集上训练的模型。
此外，TripoSG 还采用了高效的 VAE 架构，使用 SDF 进行几何表示，相较于此前常用的体素占用栅格具有更高的精度。基于 Transformer 的 VAE 架构在分辨率上有很强的泛化性，无需重新训练，可处理更高分辨率的输入。值得一提的是，TripoSG 还是首个在 3D 领域发布的 MoE Transformer 模型。通过在 Transformer 中集成 MoE 层，可以在几乎不增加推理计算成本的前提下，显著提升模型参数容量。
应用场景：潜力无限
TripoSG 的强大功能使其在多个领域具有广泛的应用前景：
- 工业设计与制造： 帮助设计师快速生成和迭代产品设计的 3D 模型，减少传统建模所需的复杂流程和时间成本。
- 虚拟现实（VR）和增强现实（AR）： 生成的 3D 模型可以用于构建虚拟现实和增强现实中的虚拟环境和物体。
- 自动驾驶与智能导航： 用于自动驾驶和智能导航系统中，生成精确的 3D 环境模型。
- 教育与研究： 提供了一个强大的平台，供教育和研究机构进行 3D 生成技术的研究和教学。
- 游戏开发： 快速生成高质量的 3D 游戏资产，包括角色、道具和场景，减少开发时间和成本。
开源意义：推动 3D 技术普及
VAST AI Research 选择开源 TripoSG，无疑将加速 3D 技术的普及和发展。通过开放源代码，TripoSG 能够吸引更多开发者参与其中，共同改进和优化这项技术。这将极大地推动 3D 建模技术的创新，并为各行各业带来更多可能性。
项目地址
- 项目官网： https://yg256li.github.io/TripoSG-Page/
- Github 仓库： https://github.com/VAST-AI-Research/TripoSG
- HuggingFace 模型库： https://huggingface.co/VAST-AI/TripoSG
- arXiv 技术论文： https://arxiv.org/pdf/2502.06608
结语
TripoSG 的开源标志着 3D 形状合成技术迈上了一个新的台阶。凭借其高保真度、高效率和广泛的应用前景，TripoSG 有望成为未来 3D 内容生产的重要工具，并为各行各业带来革命性的变革。我们期待看到更多开发者加入 TripoSG 的开源社区，共同推动 3D 技术的创新和发展。
参考文献：
- Li, Y., et al. (2024). TripoSG: High-Fidelity 3D Shape Generation via Rectified Flow. arXiv preprint arXiv:2502.06608.
- VAST AI Research. (2024). TripoSG Project Page. Retrieved from https://yg256li.github.io/TripoSG-Page/
- VAST AI Research. (2024). TripoSG Github Repository. Retrieved from https://github.com/VAST-AI-Research/TripoSG
注意： 由于论文链接为假设链接，请在发布前确认其真实性。
Views: 0