引言:科技赋能城市,三维世界触手可及
2024年3月,上海人工智能实验室(上海AI实验室)联合多家机构发布的书生・天际3.0实景三维大模型惊艳亮相。这款大模型实现了城市级100平方公里全范围实时渲染,渲染效率提速近6倍,同时将应用方式拓展至VR设备,让用户和生成实景更贴近,也进一步缩短了从技术突破到落地应用的距离。
主题一:技术创新,开启实景三维新纪元
2023年7月,上海人工智能实验室联合多家机构发布了书生・天际(LandMark)实景三维大模型,号称首次实现城市级100平方公里全范围实时渲染。一年多以来,研究团队持续探索技术创新,对模型进行升级迭代。2024年3月,书生・天际2.0实现“单卡可用、实时渲染”;日前,书生・天际3.0开源发布,实现了渲染效率提速近6倍,同时将应用方式拓展至VR设备。
主题二:应用拓展,赋能各行业高质量发展
书生・天际3.0的算法和系统陆续开源,并提供免费商用。未来,在城市规划、智慧文旅、游戏开发、影视制作、具身智能环境模拟等领域,书生・天际具备广阔的应用潜力。
主题三:交互体验,突破虚实边界
书生・天际3.0将应用方式拓展至VR设备,突破虚实边界的沉浸式交互体验得以实现。用户戴上VR眼镜,即可在名胜古迹、城市街景或博物馆中自由穿梭、探索,无论是城墙上的砖瓦,还是厂房内的按钮,几乎“触手可及”。
主题四:效率提升,降低硬件门槛
相较于上一代模型,书生・天际3.0的综合渲染效率提升了5.84倍。面对不同尺度场景对实时渲染算力需求的区别,结合算力需求与硬件性能,可对计算资源进行弹性调度。实验结果显示,新一代模型既能在单卡下进行实时渲染和交互编辑,同时,渲染性能可随着投入卡数的增加实现线性增长,进一步降低了硬件门槛。
主题五:算法系统,助力实景三维平台建设
书生・天际研究团队同通过对Scaffold-GS、Dynload-GS等高斯算法的深度挖掘,提出原创的Octree-GS算法。将八叉树(Octree)这一空间结构引入至3D高斯算法,从多视角图像中学习场景表达,并按照细节层次(LOD)技术将高斯模型划分为多个级别。
结论:书生・天际3.0,开启城市三维新纪元
书生・天际3.0实景三维大模型的发布,标志着我国在实景三维领域取得了重要突破。随着技术的不断发展和应用的不断拓展,书生・天际3.0将为城市规划、智慧文旅、游戏开发、影视制作、具身智能环境模拟等领域带来革命性的变革。未来,我们期待书生・天际3.0在城市三维领域发挥更大的作用,开启城市三维新纪元。
Views: 0