群核科技开源SpatialLM：空间理解AI新突破

北京—— 在人工智能领域，让机器拥有类似人类的空间认知能力一直是研究者们孜孜以求的目标。近日，群核科技（酷家乐）开源了其研发的空间理解多模态模型SpatialLM，为这一领域带来了新的突破。SpatialLM的发布，有望降低具身智能的开发门槛，加速相关应用落地。

SpatialLM是什么？

SpatialLM，全称Spatial Language Model，是一种能够理解和推理三维空间信息的AI模型。与传统的大语言模型不同，SpatialLM不仅能处理文本信息，还能理解视觉信息，特别是空间几何和物理关系。它能够将普通手机拍摄的视频转化为详细的3D场景布局，并标注出房间结构、家具摆放、通道宽度等信息。

核心功能与技术原理

SpatialLM的核心功能包括：

• 视频生成3D场景： 通过分析视频帧，重建场景的三维结构，包括房间布局、家具摆放等。
• 空间认知与推理： 赋予机器类似人类的空间认知能力，理解物体之间的空间关系。
• 低成本数据采集： 无需昂贵的传感器，普通手机视频即可作为数据输入。
• 具身智能训练： 为机器人提供空间理解训练框架，提升其在复杂环境中的导航、避障和任务执行能力。
• 虚拟场景生成： 将现实世界数据转化为虚拟环境中的丰富场景，支持VR/AR应用开发。

在技术原理上，SpatialLM主要依赖以下几个步骤：

1. 视频输入与点云重建： 使用MASt3R-SLAM技术处理RGB视频，提取空间点并计算深度和位置，生成3D点云模型。
2. 点云编码与特征提取： 将点云数据转化为紧凑的特征向量，保留关键几何和语义信息。
3. 大语言模型生成场景代码： 利用大语言模型（LLM），将点云特征转化为结构化的场景代码，标注物体的三维坐标、尺寸和类别。
4. 结构化3D布局生成： 将场景代码转换为结构化的3D场景布局，并可视化为可交互的3D场景。
5. 物理规则嵌入： 内置物理常识，确保生成的3D场景符合物理规则。

应用场景广泛

SpatialLM的应用前景广阔，包括：

• 具身智能训练： 帮助机器人在虚拟环境中进行障碍规避、物体抓取等任务训练。
• 自动导航： 实时解析环境空间信息，辅助机器人避障和路径规划。
• AR/VR领域： 快速将现实场景转化为虚拟环境，支持相关应用开发。
• 建筑设计与规划： 分析建筑物3D点云数据，辅助设计工作。
• 教育与培训： 开发教育软件，帮助学生学习3D建模和空间视觉能力。

开源与未来展望

群核科技此次开源SpatialLM，无疑将加速具身智能领域的发展。通过开放源代码和模型，研究者和开发者可以更便捷地获取和使用SpatialLM，进行二次开发和创新。

群核科技空间智能负责人表示：“我们希望通过开源SpatialLM，与业界共同推动具身智能技术的发展，让机器人更好地理解和适应真实世界，为人们的生活带来更多便利。”

项目地址：

• Github仓库：https://github.com/manycore-research/SpatialLM
• HuggingFace模型库：https://huggingface.co/manycore-research/SpatialLM-Llama-1B

参考文献：

• 群核科技官方网站
• SpatialLM Github仓库
• SpatialLM HuggingFace模型库

（完）

>>> Read more <<<

Views: 0