Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

0

好的,这是一篇根据你提供的信息撰写的新闻报道,融合了深度分析和专业视角,希望能符合你的要求:

标题:数据瓶颈或成AI发展桎梏?CMU与DeepMind联手突破,VLM“自生记忆”或成解题关键

引言:

人工智能的飞速发展,正以前所未有的速度改变着我们的世界。然而,一个潜在的隐忧正逐渐浮出水面:支撑AI模型训练的海量高质量数据,是否即将耗尽?近日,卡内基梅隆大学(CMU)与谷歌DeepMind的联合研究,为这一挑战性问题带来了新的曙光。他们提出的“上下文抽象学习”(ICAL)方法,让视觉语言模型(VLM)能够通过“自生记忆”的方式,从低质量数据和反馈中学习,这或许将成为突破数据瓶颈、推动AI持续发展的关键一步。

主体:

数据危机迫在眉睫:Scaling Law 的潜在隐患

近年来,人工智能领域遵循着“Scaling Law”的规律,即模型性能的提升往往伴随着参数规模和训练数据的增加。然而,这种依赖海量数据的模式正面临严峻挑战。有研究预测,如果大型语言模型(LLM)按照目前的速度发展,到2028年左右,高质量的人工生成数据将被消耗殆尽。这无疑给AI的未来发展蒙上了一层阴影,也引发了业界对Scaling Law是否会“撞墙”的担忧。

CMU与DeepMind的创新方案:VLM的“自生记忆”

面对数据短缺的潜在危机,CMU和DeepMind的研究人员另辟蹊径,将目光投向了如何让AI模型从低质量数据中学习,并生成自己的“记忆”。他们提出的ICAL方法,允许VLM通过次优演示和人类反馈,创建有效的提示词,从而改善决策能力,并减少对专家演示的依赖。这项研究成果被选为NeurIPS 2024的Spotlight论文,其创新性可见一斑。

ICAL的核心机制:从经验中提炼抽象

ICAL方法的核心在于让VLM学习“抽象”,而不是简单地存储和检索成功的动作规划或轨迹。这种抽象包含了关于任务的动态和关键知识,具体包括:

  • 任务和因果关系: 确定实现目标的基本原则和行动,以及要素之间的因果联系。
  • 对象状态的变化: 描述对象可能采取的各种形式或条件。
  • 时间抽象: 将任务分解为子目标。
  • 任务建构: 突出任务中的关键视觉细节。

ICAL的学习过程分为两个阶段:

  1. 抽象阶段(F_abstract): VLM借助语言评论纠正错误,并丰富序列。
  2. 人类参与阶段(F_hitl): 序列在环境中执行,人类的自然语言反馈指导抽象过程。

通过反复迭代,VLM不仅能够提升执行效果,还能增强自身的抽象能力。这些学习到的抽象会被存储在一个范例库中,作为智能体在学习和推理阶段的上下文参考。

实验验证:ICAL的有效性

研究人员在TEACh和VisualWebArena中测试了ICAL的任务规划能力,并在Ego4D基准测试中测试了其动作识别能力。实验结果表明,ICAL在多种任务中都表现出良好的性能,验证了其有效性。

突破数据瓶颈的潜在意义

ICAL方法的提出,为解决AI发展面临的数据瓶颈问题提供了新的思路。通过让AI模型从低质量数据和反馈中学习,并生成自己的“记忆”,我们或许能够摆脱对海量高质量数据的依赖,从而推动AI的持续发展。

结论:

CMU和DeepMind的这项研究不仅是一项技术突破,更是一次对人工智能发展方向的深刻反思。它提醒我们,在追求模型规模和数据量的同时,更应该关注如何让AI模型更智能地学习,更有效地利用数据。ICAL方法的成功,预示着AI的未来发展可能不再仅仅依赖于海量数据,而将更加注重模型的学习能力和抽象能力。这或许将开启人工智能发展的新篇章,让我们拭目以待。

参考文献:

(注:本报道使用了APA引用格式,并对原文进行了深度解读和分析,力求在专业性和可读性之间取得平衡。)


>>> Read more <<<

Views: 0

0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注