SpatialVLA：国产空间具身通用模型问世

上海—— 上海人工智能实验室（Shanghai AI Lab）联合中国电信人工智能研究院、上海科技大学等机构，近日正式推出了一款名为SpatialVLA（Spatial Vision-Language-Action）的新型空间具身通用操作模型。该模型旨在通过赋予机器人强大的3D空间理解能力，实现跨平台、零样本的泛化控制，为机器人领域的研究和应用开辟新的技术路径。

SpatialVLA基于百万级别的真实机器人数据进行预训练，能够将3D空间信息与语义特征进行融合，借助Ego3D位置编码，构建以机器人为中心的3D坐标系，从而摆脱对特定机器人-相机校准的依赖，使机器人能够感知周围环境的3D结构。同时，该模型采用自适应动作网格，将连续的机器人动作离散化，实现跨平台的动作泛化和迁移。

核心功能与技术亮点：

• 零样本泛化控制： SpatialVLA能够在未见过的机器人任务和环境中直接执行操作，无需进行额外的训练，极大地降低了机器人部署的门槛。
• 高效适应新场景： 通过少量数据的微调，SpatialVLA可以快速适应新的机器人平台或任务，提高了机器人的灵活性和适应性。
• 强大的空间理解能力： 模型能够理解复杂的3D空间布局，执行精准的操作任务，例如物体定位、抓取和放置等。
• 跨机器人平台的通用性： SpatialVLA支持多种机器人形态和配置，实现了通用的操作策略，降低了开发成本。
• 快速推理与高效动作生成： 基于离散化动作空间，SpatialVLA提高了模型推理速度，使其能够应用于实时机器人控制。

技术原理详解：

SpatialVLA的核心技术在于Ego3D位置编码、自适应动作网格和空间嵌入适应。Ego3D位置编码将深度信息与2D语义特征相结合，构建以机器人为中心的3D坐标系，使模型能够感知3D场景结构，适应不同机器人平台。自适应动作网格则将连续的机器人动作离散化为自适应网格，基于数据分布划分动作空间，通过网格对齐不同机器人的动作，实现跨平台的动作泛化和迁移。在微调阶段，SpatialVLA能够根据新机器人的动作分布重新划分网格，调整空间嵌入，提供灵活且高效的机器人特定后训练方法，加速模型适应新环境。

潜在应用场景：

SpatialVLA的通用性和强大的空间理解能力使其在多个领域具有广泛的应用前景：

• 工业制造： 自动化装配和零件搬运，快速适应不同生产线，提高生产效率。
• 物流仓储： 精准抓取和搬运货物，适应动态环境，优化物流效率。
• 服务行业： 完成递送、清洁和整理任务，理解自然语言指令，适应复杂环境。
• 医疗辅助： 传递手术器械、搬运药品，确保操作精准和安全。
• 教育与研究： 支持快速开发和测试新机器人应用，助力学术研究。

开放资源与未来展望：

上海AI Lab已开源SpatialVLA的代码和模型，并提供了灵活的微调机制，为机器人领域的研究和应用提供了新的技术路径。研究人员和开发者可以通过以下链接获取相关资源：

• 项目官网： https://spatialvla.github.io/
• GitHub仓库： https://github.com/SpatialVLA/SpatialVLA
• HuggingFace模型库： https://huggingface.co/IPEC-COMMUNITY/foundation-vision-language-action-model
• arXiv技术论文： https://arxiv.org/pdf/2501.15830

SpatialVLA的发布标志着中国在机器人通用操作模型领域取得了重要进展。随着技术的不断发展和完善，SpatialVLA有望在未来推动机器人技术的广泛应用，为各行各业带来效率提升和创新机遇。

参考文献：

• SpatialVLA项目官网：https://spatialvla.github.io/
• SpatialVLA GitHub仓库：https://github.com/SpatialVLA/SpatialVLA
• SpatialVLA HuggingFace模型库：https://huggingface.co/IPEC-COMMUNITY/foundation-vision-language-action-model
• SpatialVLA arXiv技术论文：https://arxiv.org/pdf/2501.15830

>>> Read more <<<

Views: 0