引言

海柔创新,一家专注于箱式仓储机器人系统的科技公司,其仿真平台通过数字模拟技术,为客户提供高效的仓储解决方案。随着数据量的增长,海柔的仿真平台面临着存储挑战,需要一个高可用、易于维护的分布式文件系统。最终,他们选择了 JuiceFS,并成功构建了混合云架构,实现了高可用与极简运维。

仿真平台存储挑战:从商用软件到自建

海柔最初使用商业软件进行仿真,但这些软件无法满足大规模调度和资源消耗的优化需求。因此,他们自研了一个仿真平台,涵盖 IaaS、PaaS 等服务。该平台通过简化计算步骤,优化事件抽象,显著减少了计算量,并能够在 CPU 上完成倍速仿真计算任务。

仿真过程会生成大量的小文件,这些文件需要被存储和分析。单机版系统存在高并发 IO 处理能力不足和运维困难等问题。

仿真平台上云:从私有云到混合云架构

为了解决单机系统的局限性,海柔将仿真平台迁移到 Kubernetes 架构,并选择了 JuiceFS 作为分布式文件系统。JuiceFS 的易用性和高可用性使其成为小团队的理想选择。

在私有云 K8s 环境中,海柔采用 Go 语言重构了仿真系统,显著提升了 IO 性能。同时,他们实现了存算分离,将仿真数据写入 JuiceFS,并使用另一个节点进行分析计算,避免了 CPU 抢占造成仿真过程失真。

为了进一步优化资源管理和成本效益,海柔在 2024 年 1 月开始转向混合云 SaaS 解决方案,将存储服务迁移到阿里云 OSS。这种配置不仅提升了数据处理效率,还带来了成本效益和灵活性的优势。

使用 JuiceFS 踩过的坑

在迁移到云端后,海柔遇到了一些问题,包括:

  • 默认缓存过大导致 Pod 驱逐
  • 混合云场景下storageClasses 的 bucket 设置问题
  • 对象存储占用空间比实际多

通过调整配置和使用外网地址,海柔成功解决了这些问题。

结论

海柔创新通过使用 JuiceFS 和混合云架构,成功解决了仿真平台的存储挑战,实现了高可用与极简运维。JuiceFS 的易用性和高可用性使其成为小团队的理想选择,而混合云架构则提供了更高的成本效益和灵活性。

参考文献

未来展望

随着海柔仿真平台的不断发展,他们将继续探索更先进的存储技术,以满足不断增长的数据存储需求。同时,他们也将继续优化混合云架构,提升系统性能和可靠性。

作者

吴森栋,海柔创新技术团队成员,负责仿真平台的开发和维护。


>>> Read more <<<

Views: 0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注