Snowflake开源企业级AI大模型Arctic：高效、低成本，助力企业智能化升级
北京时间2023年10月26日 – 云计算巨头Snowflake今日宣布开源其企业级大型语言模型Arctic，该模型拥有480亿参数，采用混合专家模型（MoE）架构，在成本效益、训练效率和推理效率方面具有显著优势，特别适合执行企业任务，如SQL生成、编程和指令遵循。
Arctic的开源意味着企业可以更轻松地访问和利用强大的AI技术，加速其数字化转型进程。
高效、低成本：Arctic的优势
Arctic在设计之初就将成本效益和效率放在首位。其主要优势包括：
- 高效的混合专家模型架构： Arctic采用密集变换器（Dense Transformer）和128个专家的MoE模型相结合的架构，每个专家拥有3.66亿参数。这种架构在推理过程中仅激活170亿参数，有效降低了计算成本和内存占用，同时保持了高性能。
- 低廉的训练成本： Arctic的训练计算预算大约在200万美元以下，远低于其他同等规模的大模型。
- 高效的推理性能： Arctic在小批量推理中，内存读取次数远低于其他模型，例如Code-Llama 70B和Mixtral 8x22B，这使得它能够更快地处理用户请求。
- 开放的Apache2.0许可： Arctic采用开放的Apache 2.0许可，允许自由使用和修改，方便企业根据自身需求进行定制和部署。
企业级应用：Arctic的潜力
Arctic专为企业设计，擅长执行以下任务：
- SQL生成： 自动生成SQL查询语句，简化数据分析流程。
- 编程： 帮助开发人员编写代码，提高代码质量和效率。
- 指令遵循： 理解和执行复杂指令，完成各种任务。
此外，Arctic还可以用于创建定制企业模型，例如用于客户服务、市场营销、风险管理等领域的特定任务。
未来展望：Arctic的持续发展
Snowflake表示，他们将继续开发和改进Arctic，以支持更长序列的处理，并扩展其应用范围。未来，Arctic有望在以下方面取得突破：
- 扩展注意力上下文窗口： 目前Arctic的注意力上下文窗口为4K，团队正在开发基于attention-sinks的滑动窗口实现，以支持无限序列生成能力，未来计划扩展到32K注意力窗口。
- 提升模型性能： 团队将继续优化模型架构和训练方法，以提高Arctic在各种任务上的性能。
- 拓展应用领域： Snowflake将与合作伙伴合作，探索Arctic在更多领域的应用，例如医疗保健、金融服务、教育等。
Arctic的开源标志着企业级AI技术发展的新阶段，为企业智能化升级提供了新的动力。随着Arctic的不断发展，我们可以期待它在未来为企业带来更多创新和价值。
【source】https://ai-bot.cn/snowflake-arctic-ai-model/
Views: 0