摘要： VAST AI Research 团队开源了 TripoSG，一项基于修正流模型的高保真 3D 形状合成技术。该技术能够从单张图像生成细节惊艳的 3D 网格模型，在工业设计、虚拟现实、游戏开发等领域具有广阔的应用前景。
北京 – 在人工智能领域，3D 内容的生成一直是一个充满挑战的研究方向。近日，VAST AI Research 团队推出了一项名为 TripoSG 的开源技术，为这一领域带来了新的突破。TripoSG 是一种基于大规模修正流（Rectified Flow, RF）模型的高保真 3D 形状合成技术，它能够从单张输入图像生成细节惊艳的 3D 网格模型。这一技术的开源，无疑将加速 3D 内容生成领域的发展，为各行各业带来新的可能性。
技术解析：修正流与混合监督的巧妙结合
TripoSG 的核心在于其独特的技术架构。它首次将基于校正流的 Transformer 架构应用于 3D 形状生成。与传统的扩散模型相比，修正流提供了从噪声到数据之间更简洁的线性路径建模，有助于实现更稳定、高效的训练。
为了进一步提升 3D 模型的质量，TripoSG 采用了混合监督训练策略，结合了符号距离函数（SDF）、法线和 Eikonal 损失。这种策略显著提升了 3D 变分自编码器（VAE）的重建性能，使得 VAE 能够学习到几何上更准确、细节更丰富的表示。
此外，VAST AI 还开发了完善的数据构建与治理流水线，构建了一个包含 200 万高质量“图像-SDF”训练样本对的数据集。实验证明，在此高质量数据集上训练的模型性能显著优于在更大规模、未经过滤的原始数据集上训练的模型。
TripoSG 还采用了高效的 VAE 架构，使用 SDF 进行几何表示，相较于此前常用的体素占用栅格具有更高的精度。基于 Transformer 的 VAE 架构在分辨率上有很强的泛化性，无需重新训练，可处理更高分辨率的输入。值得一提的是，TripoSG 还是首个在 3D 领域发布的 MoE Transformer 模型，在 Transformer 中集成了 MoE 层，可以在几乎不增加推理计算成本的前提下，显著提升模型参数容量。
应用场景：从工业设计到游戏开发
TripoSG 的强大功能使其在多个领域具有广泛的应用前景：
- 工业设计与制造： 帮助设计师快速生成和迭代产品设计的 3D 模型，减少传统建模所需的复杂流程和时间成本。
- 虚拟现实（VR）和增强现实（AR）： 生成的 3D 模型可以用于构建虚拟现实和增强现实中的虚拟环境和物体。
- 自动驾驶与智能导航： 用于自动驾驶和智能导航系统中，生成精确的 3D 环境模型。
- 教育与研究： 提供了一个强大的平台，供教育和研究机构进行 3D 生成技术的研究和教学。
- 游戏开发： 快速生成高质量的 3D 游戏资产，包括角色、道具和场景，减少开发时间和成本。
开源意义：推动 3D 内容生成生态发展
VAST AI 选择开源 TripoSG，无疑将加速 3D 内容生成领域的发展。通过开放源代码，更多的研究人员和开发者可以参与到 TripoSG 的改进和优化中来，共同推动 3D 内容生成技术的进步。
TripoSG 的开源，也为各行各业提供了更便捷、更高效的 3D 内容生成工具。无论是工业设计师、游戏开发者，还是 VR/AR 内容创作者，都可以利用 TripoSG 快速生成高质量的 3D 模型，从而降低开发成本，提高工作效率。
未来展望：3D 内容生成的无限可能
TripoSG 的出现，标志着 3D 内容生成技术进入了一个新的阶段。随着技术的不断发展，我们有理由相信，未来的 3D 内容生成将更加智能化、自动化，为各行各业带来更多的创新和变革。
项目地址：
- 项目官网：https://yg256li.github.io/TripoSG-Page/
- Github 仓库：https://github.com/VAST-AI-Research/TripoSG
- HuggingFace 模型库：https://huggingface.co/VAST-AI/TripoSG
- arXiv 技术论文：https://arxiv.org/pdf/2502.06608
参考文献：
- TripoSG 项目官网
- TripoSG Github 仓库
- TripoSG HuggingFace 模型库
- TripoSG arXiv 技术论文
Views: 0