Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

黄山的油菜花黄山的油菜花
0

Mamba 的蜕变:从斯坦福实验室到2700万美元种子轮融资,实时AI的“超音速”未来

引言: 眨两次眼睛的时间,一段流畅的语音便已生成。这并非科幻电影的场景,而是由斯坦福人工智能实验室孕育、Cartesia公司实现的现实。这家刚刚获得2700万美元种子轮融资的初创公司,正凭借其基于Mamba模型的实时AI技术,掀起一场人工智能应用的“超音速”革命。

主体:

1. Mamba:挑战Transformer霸权的“新星”

Transformer架构,尽管在自然语言处理领域取得了巨大成功,却面临着计算量随序列长度呈平方级增长的瓶颈。处理长文本时,其计算成本急剧增加,严重限制了其在实时应用中的潜力。 Mamba,一种基于状态空间模型(SSM)的全新架构,则为这一难题提供了令人振奋的解决方案。它巧妙地将计算量增长从平方级降低到线性级,能够高效处理百万级token的长序列,并实现5倍的推理吞吐量提升。这一突破性的进展,使其成为Transformer的有力挑战者,并引发了业界广泛关注。相关研究成果近期接连发表,其在语言建模方面的表现甚至超越了Transformer。 (论文链接:https://arxiv.org/ftp/arxiv/papers/2312/2312.00752.pdf)

2. Cartesia:将学术突破转化为产业应用的典范

Mamba的诞生并非偶然。它凝聚了斯坦福人工智能实验室(Stanford AI Lab)多年来在SSM领域的研究成果,而其作者Albert Gu,更携手导师及斯坦福同学Karan Goel、Chris Ré、Arjun Desai、Brandon Yang共同创立了Cartesia公司,将这一学术突破成功转化为产业应用。Cartesia成立于2023年,其使命是“构建具有长记忆能力的实时智能,无论你身在何处都能运行”。 2700万美元的种子轮融资,是对其技术实力和市场前景的充分肯定,也标志着SSM技术迈向产业化应用的关键一步。 消息发布后,Hugging Face联合创始人Thomas Wolf以及Vercel CEO Guillermo Rauch等业内大佬纷纷点赞,进一步彰显了Mamba及Cartesia的行业影响力。

3. Sonic:Mamba的“首秀”,文本转语音的“超音速”体验

Cartesia的首款产品Sonic,是一款基于Mamba的文本转语音模型,并提供API服务。 (试玩链接:https://play.cartesia.ai/text-to-speech) 它完美诠释了Mamba在实时应用中的优势:90毫秒内即可输出第一个音频字节,实现了“超音速”级的语音生成速度,并支持声音克隆、语速、情感、发音和口音等参数调节,目前支持15种语言。 尽管中文语音生成效果仍有提升空间,但Sonic已获得数千名客户的青睐,广泛应用于数字人、游戏等领域,例如与Cerebrium、Ego等公司的合作,为AI Avatar和游戏NPC角色注入了栩栩如生的声音。 Cartesia提供从免费到企业级的多层定价方案,满足不同用户的需求。

4. 未来展望:多模态实时AI的无限可能

Cartesia并未止步于文本转语音。他们正在基于新的SSM多流架构,开发能够处理音频、视频等多种模态数据的长上下文生成模型,进一步拓展Mamba的应用边界。 这将为实时AI应用带来革命性的变化,例如更自然流畅的实时翻译、更逼真的虚拟现实交互等等。 Cartesia的成功,不仅展现了SSM技术的巨大潜力,也为学术界与产业界的深度融合提供了宝贵的经验。 未来,随着Mamba技术的不断成熟和应用场景的不断拓展,我们有理由期待实时AI技术的蓬勃发展,为人们的生活带来更多便利和惊喜。

结论:

Mamba的出现,以及Cartesia的快速发展,预示着实时AI领域即将迎来新的变革。SSM技术的突破,为解决Transformer架构的瓶颈提供了有效途径,而Cartesia则成功地将这一学术突破转化为产业应用,并以Sonic产品为起点,展现了其在实时AI领域的巨大潜力。 未来,随着多模态实时AI技术的不断发展,Mamba及其背后的Cartesia,必将在人工智能的浪潮中占据一席之地,为构建更智能、更便捷的未来贡献力量。

参考文献:

  • Cartesia官方博客 (需补充具体链接)
  • Mamba论文 (已在文中链接)
  • 机器之心报道(已在文中提及)

*(注:由于无法访问实时网络信息,部分链接和Cartesia官方博客内容无法补充完整。请根据实际情况补充完整。) *


>>> Read more <<<

Views: 0

0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注