元象 XVERSE发布中国最大 MoE 开源模型:XVERSE-MoE-A36B,该模型总参数 255B,激活参数 36B,在性能上超越了多个同类模型,并大幅降低了训练和推理成本。元象将「高性能全家桶」系列全部开源,无条件免费商用,为国内 AI 应用发展提供强力支持。
核心亮点:
- 性能突破: XVERSE-MoE-A36B 达到 100B 模型性能的「跨级」跃升,同时训练时间减少 30%,推理性能提升 100%,使每 token 成本大幅下降。
- 开源免费: 元象「高性能全家桶」系列全部开源,无条件免费商用,让海量中小企业、研究者和开发者能按需选择。
- MoE 架构: 采用业界最前沿的混合专家模型架构 (MoE),打破了传统扩展定律的局限,可在扩大模型规模时,不显著增加训练和推理的计算成本,保持模型性能最大化。
- 商业应用: 基于 MoE 模型自主研发的 AI 角色扮演与互动网文 APP Saylo 火遍港台,下载量在中国台湾和香港娱乐榜分别位列第一和第三。
- 技术创新: 元象在 MoE 技术方面持续进行创新,包括专家架构革新、4D 拓扑设计、专家路由与预丢弃策略、通信与计算重叠等,大幅提升了模型效率和效果。
XVERSE-MoE-A36B 的优势:
- 性能卓越: 在多个权威评测中,元象 MoE 效果大幅超越多个同类模型,包括国内千亿 MoE 模型 Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B 以及 3140 亿参数的 MoE 开源模型 Grok-1-A86B 等。
- 成本低廉: MoE 训练范式具有「更高性能、更低成本」优势,元象在通用预训练基础上,使用海量剧本数据「继续预训练」,并采用了大规模语料知识注入,大幅提升了特定应用领域的表现。
- 应用广泛: 元象大模型陆续与 QQ 音乐、虎牙直播、全民 K 歌、腾讯云等深度合作与应用探索,为文化、娱乐、旅游、金融领域打造创新领先的用户体验。
XVERSE-MoE-A36B 的意义:
- 填补国内空白: XVERSE-MoE-A36B 是目前国内最大参数的 MoE 开源模型,填补了国内空白,并将国产开源推向了国际领先水平。
- 推动 AI 应用发展: XVERSE-MoE-A36B 的开源,为国内 AI 应用发展提供强力支持,将加速 AI 应用的低成本部署,促进 AI 技术的普及和应用。
下载地址:
- Hugging Face:https://huggingface.co/xverse/XVERSE-MoE-A36B
- 魔搭:https://modelscope.cn/models/xverse/XVERSE-MoE-A36B
- Github:https://github.com/xverse-ai/XVERSE-MoE-A36B
- 官网:chat.xverse.cn
结语:
元象 XVERSE-MoE-A36B 的开源,是国产开源大模型发展的重要里程碑,标志着中国在 AI 领域取得了重大突破。相信随着技术的不断进步,元象将继续为国内 AI 应用发展贡献力量,推动 AI 技术的快速发展和应用落地。
Views: 0