Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

0

“`markdown

低成本AI神话破灭?“李飞飞团队50美元炼出DeepSeek R1”遭质疑,上海交大本科生“低成本推理”或成新宠?

摘要: 近日,关于斯坦福大学李飞飞团队“仅用50美元训练出媲美DeepSeek R1的AI模型”的说法引发广泛关注。然而,这一说法随后遭到业内人士的质疑。与此同时,上海交通大学本科生团队提出的“低成本推理”方法,或将成为新的研究热点。

上海,中国 – 近日,一则“李飞飞等斯坦福大学和华盛顿大学的研究人员以不到 50 美元的云计算费用,成功训练出了一个名为 s1 的人工智能推理模型”的消息,迅速在人工智能领域引发热议。该模型被宣称在数学和编码能力测试中,表现与 OpenAI O1 和 DeepSeek R1 等顶尖推理模型不相上下,这无疑给“低成本AI”带来了巨大的想象空间。

然而,这看似美好的前景很快受到了质疑。毕业于西安电子科技大学的知乎大模型优秀答主段小草等业内人士指出,这一说法存在诸多误解。

“50美元炼成R1”? 疑点重重

针对“李飞飞团队”的这一研究成果,质疑主要集中在以下几个方面:

  • 李飞飞参与度: 论文作者署名中,李飞飞的名字并未出现在主要贡献者之列,其角色更像是指导或挂名。
  • 成本计算: 50美元的成本仅仅是最后一轮微调训练的GPU卡时费用,并未包括数据采集、模型选择、人力成本等其他费用。更重要的是,s1模型是基于Qwen2.5-32B-Instruct模型进行微调,而非从零开始训练,二者成本不可同日而语。
  • 性能对比: s1模型仅在特定测试集上超越了OpenAI的o1-preview版本,与正式版o1和DeepSeek R1相比,仍有较大差距。
  • “蒸馏”争议: s1模型的数据集构建方式是将问题提交给Gemini 2.0 Flash Thinking生成思维链和答案,再用这些数据微调Qwen模型。有观点认为,这种做法并非严格意义上的“蒸馏”。

上海交大本科生新“低成本推理”或成新宠?

在“李飞飞团队”的研究成果受到质疑的同时,另一种“低成本推理”方法开始崭露头角。InfoQ报道,上海交通大学本科生团队提出的新方法,旨在通过更高效的算法和模型设计,降低AI推理的成本。虽然具体细节尚未公开,但其“低成本”的思路,无疑与当前AI发展的趋势相契合。

“Budget Forcing”预算强制

s1 团队更为关注后者并自己研发的预算强制方法,控制模型在测试时的计算量:如果模型生成的思考标记超过预期限制,就强制结束思考过程,添加“end-of-thinking token 分隔符”和“最终答案”,使模型过渡到生成答案步骤;如果希望模型在问题上花费更多的测试时计算量,则抑制“end-of-thinking token 分隔符”,并在模型当前的推理轨迹中追加“等待”,以鼓励更多的探索。

结论:理性看待“低成本AI”

“李飞飞团队”的研究引发的争议,提醒我们应理性看待“低成本AI”的概念。在追求低成本的同时,更应关注模型的实际性能和适用范围。上海交大本科生团队提出的新方法,或许能为“低成本AI”提供新的思路。

参考文献:


>>> Read more <<<

Views: 0

0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注