Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

0

摘要: DeepSeek开源的3FS(Fire-Flyer File System)文件系统,作为AI时代的重要存储解决方案,一经发布便引发业界广泛关注。本文由九章云极的专家团队撰写,深入浅出地介绍了3FS的编译和部署过程,旨在帮助开发者更好地理解和应用这一前沿技术。

北京 – 2025年3月14日 – 在人工智能领域,数据存储的重要性日益凸显。近日,DeepSeek在开源周期间重磅推出了3FS(Fire-Flyer File System)文件系统,补齐了AI生态中计算和网络之外的最后一块拼图。这一举动迅速引发了业界的关注,九章云极DataCanvas也对此进行了深入研究,并发布了系列文章,旨在帮助开发者更好地理解和应用3FS。

3FS并非简单的算法库,而是一个完整的、涉及多种节点和外部节点的高速并行文件系统。其代码结构清晰,模块间解耦程度高,充分展现了DeepSeek工程师在复杂工程上的卓越驾驭能力。该系统于2025年2月27日在GitHub上正式开源,并因其以下关键特性而备受瞩目:

  • 分离式架构: 提高了系统的灵活性和可扩展性。
  • 强一致性保护: 确保数据在分布式环境下的可靠性。
  • 标准的文件接口: 方便用户进行数据访问和管理。
  • 多样化文件负载支持: 能够适应各种AI应用场景。

尽管DeepSeek官方提供了详尽的设计文档,但3FS的复杂性仍然对学习者提出了挑战。作为人工智能基础软件方向的前沿力量,九章云极的专家团队决定从存储专业的角度出发,通过实例教学,帮助开发者掌握3FS的编译和部署。

九章云极发布的系列文章的第一篇,详细介绍了在Ubuntu 22.04发行版上编译和部署3FS的步骤,包括:

  1. 编译前置说明: 设置编译路径,默认为当前用户的Home目录。
  2. 安装依赖: 安装必要的软件包,包括cmake、libuv1-dev、liblz4-dev等。
  3. 安装FoundationDB: 下载并安装FoundationDB,为3FS提供底层存储支持。
  4. 安装Fuse: 下载、编译并安装Fuse,实现用户空间文件系统。
  5. 编译3FS: 克隆3FS代码库,更新子模块,应用补丁,并使用CMake进行编译。

文章详细列出了每一步所需的命令和注意事项,例如:

“`bash

安装依赖

$ apt update
$ apt install -y cmake libuv1-dev liblz4-dev liblzma-dev libdouble-conversion-dev libdwarf-dev libunwind-dev \
libaio-dev libgflags-dev libgoogle-glog-dev libgtest-dev libgmock-dev clang-format-14 clang-14 clang-tidy-14 lld-14 \
libgoogle-perftools-dev google-perftools libssl-dev gcc-12 g++-12 libboost-all-dev cargo git g++ wget meson
“`

编译成功后,将在${BUILD_DIR}/3fs/build/bin目录下生成一系列二进制文件,如admin_cli和hf3fs-admin等。

九章云极表示,希望通过这一系列文章,能够帮助开发者更好地理解AGI时代对存储系统的需求,掌握3FS的编译和部署技巧,从而为AI应用提供更高效、更可靠的存储解决方案。

关于九章云极DataCanvas:

九章云极DataCanvas是一家专注于人工智能基础软件的科技公司,致力于为企业提供领先的数据科学平台和解决方案。

参考文献:

(完)


>>> Read more <<<

Views: 0

0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注