香港科技大学（港科大）近日发布了一款名为 WorldCraft 的创新型 3D 虚拟世界创建和定制系统，该系统利用大型语言模型（LLM）代理，让用户无需专业的 3D 建模技能，仅通过自然语言交互，就能轻松创建和定制逼真的 3D 虚拟世界。
WorldCraft 的出现，无疑为 3D 内容创作领域带来了一场革命。长期以来，3D 内容的创建和定制都依赖于专业人士使用复杂的软件工具，这无疑提高了创作门槛，限制了普通用户的参与。而 WorldCraft 的出现，打破了这一壁垒，让每个人都能成为 3D 世界的创造者。
WorldCraft 的三大核心模块
WorldCraft 系统由三个核心模块组成，各司其职，共同完成 3D 世界的构建：
- ForgeIt： 专注于单个物体的定制，基于程序化生成技术，实现对物体几何形状和纹理的精确控制。用户可以通过自然语言指令，精细调整物体的外观，打造个性化的 3D 模型。
- ArrangeIt： 负责场景布局的生成，基于分层数值优化算法，实现功能性和美学的平衡。用户可以根据自己的设计意图，例如功能需求和美学要求，生成合理的物体布局，构建出符合需求的场景。
- 轨迹控制模块： 支持用户通过对话控制物体运动和相机轨迹，生成动画和视频。用户只需用自然语言描述物体或相机的运动轨迹，系统就能将其转化为具体的运动命令，实现场景动画的生成。
技术原理：LLM 代理与深度 3D 生成器的结合
WorldCraft 的核心技术在于协调代理（Coordinator Agent）的管理和 LLM 代理与深度 3D 生成器的结合。协调代理负责管理整个 3D 场景生成流程，将复杂任务分解为多个子任务，并协调其他代理模块完成任务。而 LLM 代理则负责解析用户的自然语言指令，并将其转化为程序化生成器可以理解的参数，从而控制物体的生成和定制。
此外，WorldCraft 还兼容现有的深度 3D 生成器，例如 Infinigen，可以丰富场景资产，提升视觉效果。通过程序化生成和深度生成的结合，WorldCraft 能够生成具有更高视觉质量和更多样性的 3D 场景。
WorldCraft 的应用前景
WorldCraft 的应用前景十分广阔，可以应用于以下领域：
- 建筑设计与室内设计： 快速生成建筑概念模型和虚拟样板间，基于自然语言定制室内布局和风格，优化设计流程并提升客户体验。
- 影视与娱乐： 创建虚拟电影场景、游戏关卡和动画电影中的复杂场景，降低实景搭建成本，为虚拟现实（VR）和增强现实（AR）体验提供高度逼真的虚拟环境。
- 教育与培训： 设计虚拟实验室、历史场景、地理环境和医疗培训场景，基于沉浸式体验增强学习效果，支持远程教育和专业技能培训。
- 产品设计与展示： 快速生成产品概念模型和虚拟展厅，展示家具、汽车、电子设备等产品的设计，支持个性化定制和虚拟广告场景的创建。
- 文化与艺术： 创建虚拟博物馆、艺术展览、历史建筑和文化节日场景，重现文化遗产，为艺术创作和文化体验提供沉浸式空间。
结语
WorldCraft 的推出，标志着 3D 内容创作领域进入了一个全新的时代。它降低了 3D 内容创作的门槛，让更多的人能够参与到 3D 世界的构建中来。随着技术的不断发展，WorldCraft 将会在更多领域得到应用，为人们的生活带来更多的便利和乐趣。
参考文献:
- arXiv技术论文: https://arxiv.org/pdf/2502.15601 (请注意，此链接为占位符，因为提供的链接格式不正确，应为PDF文件链接)
（注：由于提供的链接格式不正确，我无法访问原始论文进行更深入的分析。上述新闻稿基于提供的文本信息进行撰写。）
Views: 0