Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

90年代的黄河路
0

北京,2024年2月26日 – 商汤科技今日宣布,其人工智能基础设施平台“商汤大装置”迎来重大升级,正式推出DeepSeek企业版,并同步完成免费版的国产化适配与算力扩容。此次升级旨在为企业和开发者提供更高性能、更稳定的AI服务,同时进一步降低AI应用门槛,加速人工智能的普惠化进程。

双擎驱动:专业支撑与普惠覆盖并举

商汤大装置此次升级的核心在于构建“专业强支撑+普惠广覆盖”的双擎驱动模式。企业版DeepSeek-R1-Enterprise的上线,标志着商汤大装置在高性能AI服务领域迈出了坚实一步,能够满足各行业对DeepSeek系列模型应用的迫切需求。与此同时,免费版的国产化适配与算力扩容,则进一步降低了AI的使用门槛,让更多开发者和企业能够享受到先进的AI技术。

企业版上线:高性能、高稳定,夯实业务底座

DeepSeek-R1-Enterprise企业版是商汤大装置此次升级的重点。该版本在性能和稳定性方面进行了全面优化,旨在为企业用户提供坚实的业务底座。

推理性能领先

企业版采用了商汤自研的LightLLM推理引擎,并针对Prefill和Decode过程进行了深度优化。通过这些优化,DeepSeek-R1-Enterprise企业版实现了行业领先的推理性能,能够显著提升模型服务的效率。

LightLLM的优化不仅仅是简单的加速,更涉及到对底层硬件的深度挖掘和利用。Prefill阶段的优化主要集中在如何高效地处理输入数据,减少计算冗余,提高数据吞吐量。Decode阶段的优化则侧重于如何快速生成高质量的输出结果,降低延迟,提升用户体验。

并行计算策略

为了充分利用硬件资源,DeepSeek-R1-Enterprise企业版采用了基于专家/流水/张量/数据多种并行技术的并行计算策略。这些并行技术能够将计算任务分解成多个子任务,并在多个处理器或计算节点上同时执行,从而显著提升硬件利用率,最大化推理效率。

  • 专家并行: 将不同的模型组件分配给不同的专家设备进行计算,适用于模型结构复杂、组件独立的场景。
  • 流水并行: 将模型计算过程分解为多个阶段,每个阶段由不同的设备负责,形成流水线式的处理流程,提高整体吞吐量。
  • 张量并行: 将张量数据分割成多个部分,分配给不同的设备进行计算,适用于计算量大的场景。
  • 数据并行: 将输入数据分割成多个部分,分配给不同的设备进行计算,适用于数据量大的场景。

通过灵活组合这些并行技术,DeepSeek-R1-Enterprise企业版能够根据不同的模型和数据特点,选择最优的并行策略,实现最佳的推理性能。

多维监控体系

为了保障服务的稳定性和可靠性,DeepSeek-R1-Enterprise企业版构建了覆盖首包延迟、QPS(Queries Per Second,每秒查询率)、吞吐量等100+指标的多维监控体系。该体系能够实时监控服务的各项关键指标,并提供一站式监控告警功能,帮助用户及时发现和解决问题。

首包延迟是衡量服务响应速度的重要指标,QPS是衡量服务并发处理能力的重要指标,吞吐量是衡量服务整体处理能力的重要指标。通过对这些指标的实时监控,用户可以全面了解服务的运行状态,并根据实际情况进行调整和优化。

专家服务与端到端解决方案

除了技术上的优化,商汤大装置还为企业用户提供专家服务,提供端到端解决方案。这些服务包括模型定制、模型开发平台、Agent应用开发平台等,旨在为企业用户提供全链路支持。

  • 模型定制服务: 针对特定场景,商汤大装置可以打造轻量化模型定制,基于场景强化学习在特定场景提升基模型,支持蒸馏到小模型高效推理。这种定制化的服务能够帮助企业用户更好地利用AI技术解决实际问题。
  • 模型开发平台: 提供一站式的模型开发工具和资源,帮助企业用户快速构建和部署AI模型。
  • Agent应用开发平台: 提供构建智能Agent应用的工具和框架,帮助企业用户快速开发和部署智能化的应用。

快速全周期交付体系

商汤大装置还建立了快速全周期交付体系,由专家团队提供从业务诊断到系统落地的全周期服务,最快14天即可完成部署。这种高效的交付体系能够帮助企业用户快速实现AI应用的落地,加速数字化转型进程。

免费版扩容:国产化优化+算力扩容,持续普惠拓展

在推出企业版的同时,商汤大装置还对免费版进行了扩容,主要体现在国产化适配和算力扩容两个方面。

国产化适配

商汤大装置完成了多家主流国产芯片的国产化适配,支持运行DeepSeek-R1满血版。这意味着,用户可以在国产硬件平台上使用商汤大装置的AI服务,摆脱对国外硬件的依赖,实现自主可控。

国产化适配不仅仅是简单的兼容性测试,更涉及到对底层硬件的深度优化。商汤大装置的工程师们针对国产芯片的特点,进行了大量的性能调优工作,确保DeepSeek-R1模型能够在国产硬件平台上发挥出最佳性能。

国产化优化

商汤大装置完成了国产芯片的8bit量化版本模型优化,同时提供最优的算子、并行等方案,保障极致推理性能。量化是一种模型压缩技术,可以将模型的参数从32位浮点数转换为8位整数,从而降低模型的存储空间和计算复杂度,提高推理速度。

商汤大装置的工程师们针对国产芯片的架构特点,设计了高效的量化算法和算子优化方案,确保量化后的模型能够在国产硬件平台上保持较高的精度和推理速度。

算力扩容

商汤大装置全面切换国产算力,支持高并发,多人同时使用,体验不打折。这意味着,更多的用户可以同时使用商汤大装置的AI服务,而不会受到性能瓶颈的限制。

商汤大装置的算力扩容不仅仅是增加硬件数量,更涉及到对算力资源的智能调度和管理。通过采用先进的资源调度算法,商汤大装置能够根据用户的需求,动态分配算力资源,确保每个用户都能够获得最佳的体验。

稳定性测评

在知名评测机构SuperCLUE连续两次发布的,对第三方平台DeepSeek-R1满血版的API服务稳定性测评中,结果显示,商汤大装置在回复率、准确率、推理速度等方面均表现优异,并在最新评测中位居DeepSeek免费版API排名第一梯队,展现了商汤大装置强大的平台支撑能力。

SuperCLUE的测评结果充分证明了商汤大装置在技术上的领先性和在服务上的可靠性。

普惠AI的未来展望

商汤大装置始终致力于为企业和开发者提供高效率、低成本、规模化的新型人工智能基础设施,可支持商汤“日日新”融合大模型 SenseNova、DeepSeek、Qwen、Llama等大模型。未来,商汤还将继续提供强大的技术支持和全方位的服务保障,持续为行业输出高效、易用、普惠的AI云服务,帮助客户实现业务场景的提智增效。

商汤科技的此次升级,不仅是对自身技术实力的提升,更是对AI普惠化进程的积极推动。通过企业版的高性能和免费版的低门槛,商汤大装置将能够更好地满足不同用户的需求,加速人工智能在各行各业的落地应用。

专家观点

“商汤大装置的此次升级,是人工智能基础设施发展的重要里程碑,”一位不愿透露姓名的AI领域专家表示,“企业版的上线,将为企业用户提供更强大的AI服务能力,而免费版的扩容,则将进一步降低AI的使用门槛,让更多开发者和企业能够参与到AI的创新浪潮中来。这种双擎驱动的模式,将加速人工智能的普及和应用,为经济社会发展注入新的动力。”

行业影响

商汤大装置的此次升级,预计将对人工智能行业产生深远的影响。

  • 加速AI应用落地: 企业版的高性能和免费版的低门槛,将降低企业和开发者使用AI技术的成本和难度,从而加速AI在各行各业的落地应用。
  • 推动国产AI生态发展: 国产化适配和算力扩容,将促进国产AI硬件和软件生态的发展,提升我国在人工智能领域的自主可控能力。
  • 促进AI技术创新: 更多开发者和企业参与到AI的创新浪潮中来,将推动AI技术的不断发展和创新,为经济社会发展带来更多机遇。

结语

商汤大装置DeepSeek企业版的上线和免费版的扩容,是商汤科技在人工智能领域的重要布局。通过构建“专业强支撑+普惠广覆盖”的双擎驱动模式,商汤大装置将能够更好地满足不同用户的需求,加速人工智能的普惠化进程,为经济社会发展注入新的动力。未来,商汤科技将继续加大在人工智能领域的投入,不断创新技术和服务,为构建更加智能化的未来贡献力量。

参考文献


>>> Read more <<<

Views: 0

0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注