英伟达发布LATTE3D：文本生成3D模型，400毫秒内完成创作
AI工具集 2023年10月26日
英伟达近日发布了名为LATTE3D的文本生成3D模型，该模型能够根据文本描述快速生成高质量的3D内容，仅需400毫秒。这一突破性技术将为游戏开发、电影制作、工业设计等领域带来革命性的改变。
LATTE3D的核心技术：摊销优化
LATTE3D的核心技术在于采用了一种称为“摊销优化（amortized）”的方法。该方法通过在大量文本提示上同时优化一个共享的文本条件模型，提高了模型对新提示的泛化能力，从而减少了生成每个3D对象所需的时间。
LATTE3D的主要功能
- 文本到3D合成： 用户可以通过输入文本提示，例如“一只穿着礼帽的阿米巴绒绒玩偶螃蟹”，来生成具有特定特征和风格的3D对象。
- 快速生成： LATTE3D可以在大约400毫秒内生成3D对象，这使得它能够实时地响应用户的输入，为用户提供即时的视觉反馈。
- 高质量渲染： LATTE3D结合了神经场和纹理表面生成技术，能够产生具有高细节水平的纹理网格，提供视觉上令人信服的3D渲染结果。
- 3D风格化： LATTE3D还可以作为3D风格化工具，允许用户在现有的3D资产上应用新的风格或主题，从而创造出多样化的视觉表现。
LATTE3D的架构方法
LATTE3D的训练包含两个阶段：
- 体积渲染阶段： 使用体积渲染来训练纹理和几何形状。训练目标包括来自3D感知图像先验的SDS梯度，以及将预测形状的掩模与库中的3D资产进行比较的正则化损失。
- 表面渲染阶段： 使用基于表面的渲染并仅训练纹理以提高质量。
这两个阶段都对一组提示使用摊销优化来保持快速生成。
LATTE3D的应用前景
LATTE3D的发布将为3D内容创作领域带来巨大的变革。它将使游戏开发、电影制作、工业设计等领域受益匪浅。例如：
- 游戏开发： 游戏开发者可以使用LATTE3D快速生成游戏场景、角色和道具，从而降低开发成本并提高开发效率。
- 电影制作： 电影制作人可以使用LATTE3D快速生成电影场景和特效，从而降低制作成本并提高制作效率。
- 工业设计： 工业设计师可以使用LATTE3D快速生成产品原型，从而降低开发成本并提高开发效率。
结语
LATTE3D的出现标志着文本生成3D模型技术取得了重大突破。它将为3D内容创作领域带来革命性的改变，并为各个行业带来新的机遇。
相关链接：
- LATTE3D官网入口： https://research.nvidia.com/labs/toronto-ai/LATTE3D/
- 研究论文： https://drive.google.com/file/d/1HZ7EY1jFguiwxxetgQkpljrj0cxbhZXZ/view
【source】https://ai-bot.cn/nvidia-latte3d/
Views: 1