引言
海柔创新,一家专注于箱式仓储机器人系统的科技公司,其仿真平台通过数字模拟技术,为客户提供高效的仓储解决方案。随着数据量的增长,海柔的仿真平台面临着存储挑战,需要一个高可用、易于维护的分布式文件系统。最终,他们选择了 JuiceFS,并成功构建了混合云架构,实现了高可用与极简运维。
仿真平台存储挑战:从商用软件到自建
海柔最初使用商业软件进行仿真,但这些软件无法满足大规模调度和资源消耗的优化需求。因此,他们自研了一个仿真平台,涵盖 IaaS、PaaS 等服务。该平台通过简化计算步骤,优化事件抽象,显著减少了计算量,并能够在 CPU 上完成倍速仿真计算任务。
仿真过程会生成大量的小文件,这些文件需要被存储和分析。单机版系统存在高并发 IO 处理能力不足和运维困难等问题。
仿真平台上云:从私有云到混合云架构
为了解决单机系统的局限性,海柔将仿真平台迁移到 Kubernetes 架构,并选择了 JuiceFS 作为分布式文件系统。JuiceFS 的易用性和高可用性使其成为小团队的理想选择。
在私有云 K8s 环境中,海柔采用 Go 语言重构了仿真系统,显著提升了 IO 性能。同时,他们实现了存算分离,将仿真数据写入 JuiceFS,并使用另一个节点进行分析计算,避免了 CPU 抢占造成仿真过程失真。
为了进一步优化资源管理和成本效益,海柔在 2024 年 1 月开始转向混合云 SaaS 解决方案,将存储服务迁移到阿里云 OSS。这种配置不仅提升了数据处理效率,还带来了成本效益和灵活性的优势。
使用 JuiceFS 踩过的坑
在迁移到云端后,海柔遇到了一些问题,包括:
- 默认缓存过大导致 Pod 驱逐
- 混合云场景下storageClasses 的 bucket 设置问题
- 对象存储占用空间比实际多
通过调整配置和使用外网地址,海柔成功解决了这些问题。
结论
海柔创新通过使用 JuiceFS 和混合云架构,成功解决了仿真平台的存储挑战,实现了高可用与极简运维。JuiceFS 的易用性和高可用性使其成为小团队的理想选择,而混合云架构则提供了更高的成本效益和灵活性。
参考文献
未来展望
随着海柔仿真平台的不断发展,他们将继续探索更先进的存储技术,以满足不断增长的数据存储需求。同时,他们也将继续优化混合云架构,提升系统性能和可靠性。
作者
吴森栋,海柔创新技术团队成员,负责仿真平台的开发和维护。
Views: 0