“`markdown
智源研究院发布RoboOS与RoboBrain：具身智能迈向群体协作的关键一步
北京 – 在近日举行的中关村论坛上，智源研究院重磅发布了其在具身智能领域的最新研究成果：跨本体具身大小脑协作框架RoboOS与开源具身大脑RoboBrain。这两项创新旨在解决当前具身智能应用中存在的通用性适配与多机调度难题，推动机器人从单体智能向群体智能的转变，并为构建统一的具身智能开源生态提供底层技术支持。
RoboBrain：增强长程操作任务能力的具身大脑
RoboBrain的核心在于融合了机器人任务规划、可操作区域感知以及轨迹预测能力，从而增强机器人在复杂环境下的长程操作任务能力。它通过多阶段训练策略，使机器人能够更好地理解人类指令，感知环境，并生成基于实时图像反馈的行动计划和评估。
RoboBrain由三个关键模块构成：
- 任务规划基座模型： 将抽象指令转化为具象的动作序列。
- A-LoRA模块： 用于可操作区域感知，理解指令和物体属性。
- T-LoRA模块： 用于轨迹预测，确保操作的精度和稳定性。
在多项评测中，RoboBrain展现出卓越的性能，超越了多个领先模型。例如，在任务规划方面，RoboBrain在OpenEQA、ShareRobot和RoboVQA等评测集上优于GPT-4V、Claude3等多个闭源/开源MLLMs。在可操作区域感知方面，RoboBrain在AGD20K测试集上的平均精度也超过了当时最先进的开源模型Qwen2-VL。
RoboOS：实现跨本体协作的“大脑-小脑”框架
RoboOS是一个基于“大脑-小脑”分层架构的协作框架，旨在实现多机器人之间的协同工作。在这种架构下，RoboBrain负责全局感知与决策，构建动态时空感知、规划指导和反馈纠错机制；而小脑技能库则负责低延迟精准执行，实现柔性与精密操作。
RoboOS的关键特性包括：
- 跨本体支持： 支持松灵双臂、睿尔曼单/双臂、智元人形、宇树人形等不同类型的具身本体。
- 动态任务管理： 可动态管理多机器人任务队列，支持优先级抢占与资源优化分配。
- 实时闭环优化： 基于执行反馈动态调整策略，结合环境变化，持续优化任务规划。
在一个演示案例中，三个不同类型的机器人（睿尔曼单臂、宇树人形G1、松灵双臂）在RoboOS和RoboBrain的协同下，成功完成了“递送苹果和水果刀”的任务。这充分展示了RoboOS在实现跨本体协作方面的潜力。
开源生态：推动具身智能的快速发展
智源研究院此次发布的RoboOS和RoboBrain均为开源项目，旨在促进具身智能领域的开放合作与创新。开源链接如下：
- RoboBrain:
- GitHub: https://github.com/FlagOpen/RoboBrain
- Gitee: https://gitee.com/flagopen/robo-brain
- Huggingface: https://huggingface.co/BAAI/RoboBrain
- ShareRobot:
通过开源，智源研究院希望能够吸引更多的研究者和开发者参与到具身智能的研发中来，共同推动这一领域的发展。
未来展望
RoboOS和RoboBrain的发布是具身智能领域的重要里程碑。它们不仅解决了当前具身智能应用中的一些关键问题，也为未来的发展奠定了坚实的基础。随着技术的不断进步和开源生态的不断完善，我们有理由相信，具身智能将在未来的社会中发挥越来越重要的作用，为人类带来更多的便利和福祉。
参考文献
- 智源研究院. (2024, March 29). 迈向群体智能 | 智源发布首个跨本体具身大小脑协作框架与开源具身大脑. Retrieved from 智源研究院
“`
Views: 0