新加坡,2024年7月26日 – 南洋理工大学S-Lab团队近日推出了一款名为GaussianCity的创新3D城市生成框架,该框架基于3D高斯绘制(3D-GS)技术,旨在解决大规模城市场景生成中长期存在的显存瓶颈问题,并在生成速度和质量上实现了显著提升。这一突破性的研究成果,为游戏开发、城市规划、自动驾驶等多个领域带来了全新的可能性。
传统3D城市生成方法往往面临着显存和存储需求过高的挑战,尤其是在处理大规模场景时。GaussianCity通过引入紧凑的鸟瞰图(BEV)-Point表示方法,巧妙地将场景的显存使用量控制在恒定水平,从而有效解决了这一难题。
“我们希望能够创建一个既高效又高质量的3D城市生成框架,让开发者和研究人员能够更轻松地创建逼真的城市环境。” S-Lab团队负责人表示,“GaussianCity的BEV-Point表示方法是关键,它允许我们在不牺牲细节的情况下,显著降低显存需求。”
技术亮点:空间感知的BEV-Point解码器
GaussianCity的核心技术在于其空间感知的BEV-Point解码器。该解码器基于点序列化器和点变换器,能够捕捉BEV点的结构和上下文特征,进而生成高质量的3D高斯属性。这意味着GaussianCity不仅能够生成逼真的城市景观,还能支持风格化编辑和局部修改,为用户提供了更大的创作自由。
性能对比:速度提升60倍
根据S-Lab团队的测试结果,GaussianCity在无人机视角和街景视角的3D城市生成任务中表现出色,相比现有方法(如CityDreamer),速度提升高达60倍。这一显著的性能提升,意味着开发者可以更快地迭代设计,并更快地将创意转化为现实。
应用前景:多领域赋能
GaussianCity的应用场景十分广泛,涵盖了以下几个主要领域:
- 游戏与虚拟现实(VR): 快速生成逼真的虚拟城市,支持实时渲染和交互,降低开发成本和时间。
- 动画与影视制作: 高效生成复杂城市场景,支持风格化渲染,提升制作效率。
- 城市规划与建筑设计: 快速生成城市布局和建筑背景,辅助规划和设计的可视化。
- 自动驾驶与交通模拟: 生成逼真的交通场景,用于算法测试和交通流量分析。
- 地理信息系统(GIS): 将地理数据快速转换为3D可视化场景,支持城市建模和分析。
开源共享:助力行业发展
为了促进该技术的普及和应用,S-Lab团队已将GaussianCity的项目代码开源,并发布在GitHub和HuggingFace模型库上。同时,相关的技术论文也已上传至arXiv平台,供学术界参考和研究。
- GitHub仓库: https://github.com/hzxie/GaussianCity
- HuggingFace模型库: https://huggingface.co/spaces/hzxie/gaussian-city
- arXiv技术论文: https://arxiv.org/pdf/2406.06526
结论:3D城市生成的新纪元
南洋理工大学S-Lab团队推出的GaussianCity,不仅在技术上实现了突破,更在应用层面展现了巨大的潜力。它的高效性、高质量和低资源占用,将极大地推动3D城市生成技术的发展,并为各行各业带来创新机遇。我们有理由相信,GaussianCity将引领3D城市生成进入一个全新的纪元。
参考文献:
- H. Xie, et al. (2024). GaussianCity: Efficient 3D City Generation with Gaussian Splatting. arXiv preprint arXiv:2406.06526.
Views: 0