摘要: DeepSeek开源的3FS(Fire-Flyer File System)文件系统,作为AI时代的重要存储解决方案,一经发布便引发业界广泛关注。本文由九章云极的专家团队撰写,深入浅出地介绍了3FS的编译和部署过程,旨在帮助开发者更好地理解和应用这一前沿技术。
北京 – 2025年3月14日 – 在人工智能领域,数据存储的重要性日益凸显。近日,DeepSeek在开源周期间重磅推出了3FS(Fire-Flyer File System)文件系统,补齐了AI生态中计算和网络之外的最后一块拼图。这一举动迅速引发了业界的关注,九章云极DataCanvas也对此进行了深入研究,并发布了系列文章,旨在帮助开发者更好地理解和应用3FS。
3FS并非简单的算法库,而是一个完整的、涉及多种节点和外部节点的高速并行文件系统。其代码结构清晰,模块间解耦程度高,充分展现了DeepSeek工程师在复杂工程上的卓越驾驭能力。该系统于2025年2月27日在GitHub上正式开源,并因其以下关键特性而备受瞩目:
- 分离式架构: 提高了系统的灵活性和可扩展性。
- 强一致性保护: 确保数据在分布式环境下的可靠性。
- 标准的文件接口: 方便用户进行数据访问和管理。
- 多样化文件负载支持: 能够适应各种AI应用场景。
尽管DeepSeek官方提供了详尽的设计文档,但3FS的复杂性仍然对学习者提出了挑战。作为人工智能基础软件方向的前沿力量,九章云极的专家团队决定从存储专业的角度出发,通过实例教学,帮助开发者掌握3FS的编译和部署。
九章云极发布的系列文章的第一篇,详细介绍了在Ubuntu 22.04发行版上编译和部署3FS的步骤,包括:
- 编译前置说明: 设置编译路径,默认为当前用户的Home目录。
- 安装依赖: 安装必要的软件包,包括cmake、libuv1-dev、liblz4-dev等。
- 安装FoundationDB: 下载并安装FoundationDB,为3FS提供底层存储支持。
- 安装Fuse: 下载、编译并安装Fuse,实现用户空间文件系统。
- 编译3FS: 克隆3FS代码库,更新子模块,应用补丁,并使用CMake进行编译。
文章详细列出了每一步所需的命令和注意事项,例如:
“`bash
安装依赖
$ apt update
$ apt install -y cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libdwarf-dev libunwind-dev \
libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \
libgoogle-perftools-dev google-perftools libssl-dev gcc-12 g++-12 libboost-all-dev cargo git g++ wget meson
“`
编译成功后,将在${BUILD_DIR}/3fs/build/bin
目录下生成一系列二进制文件,如admin_cli和hf3fs-admin等。
九章云极表示,希望通过这一系列文章,能够帮助开发者更好地理解AGI时代对存储系统的需求,掌握3FS的编译和部署技巧,从而为AI应用提供更高效、更可靠的存储解决方案。
关于九章云极DataCanvas:
九章云极DataCanvas是一家专注于人工智能基础软件的科技公司,致力于为企业提供领先的数据科学平台和解决方案。
参考文献:
- 九章云极DataCanvas. (2025, March 14). 3FS系列(一):存储新纪元的开篇——3FS编译调优与部署的工程实践. Retrieved from https://www.example.com/3fs-article (示例链接)
- DeepSeek. (2025). 3FS (Fire-Flyer File System). Retrieved from https://github.com/deepseek-ai/3fs
(完)
Views: 0