旧金山，2025年1月24日 – Apache 软件基金会今日正式宣布 Apache Hudi 1.0 版本的发布，标志着这个开源数据湖平台迈向成熟的关键一步。Hudi，作为一款专为近实时分析设计的事务型数据湖平台，自2017年诞生以来，一直致力于弥合传统数据库与开放数据湖架构之间的鸿沟。此次1.0版本的发布，不仅是对Hudi过去几年发展的总结，更是对其未来发展方向的明确指引——将数据湖打造为功能完备的“数据湖管理系统”（DLMS）。
Hudi的诞生与演进：从Uber的内部工具到开源社区的明星
Hudi最初由Uber开发，作为Apache Hadoop上的增量处理框架，旨在解决大数据环境下数据更新和查询的难题。2019年，Uber将其贡献给Apache软件基金会，使其成为一个开源项目，并迅速吸引了来自全球各地的开发者和用户的关注。Hudi的核心优势在于其开放的表格式设计，这种设计使得增量数据管道的写入更加高效，同时保证了可靠的查询性能。
与传统的数据湖相比，Hudi能够同时支持近实时查询和批量查询，这使其在处理流式数据和大规模数据分析时都具有显著优势。Hudi的出现，打破了传统数据仓库的封闭性，为用户提供了更加灵活和高效的数据管理方案。
Hudi 1.0：数据湖管理系统的新篇章
Hudi 1.0版本的发布，不仅仅是版本号的升级，更是对Hudi定位的重新定义。该版本引入了一系列新特性，旨在将数据湖转化为一个功能完备的DLMS。正如Hudi项目创建者、Onehouse首席执行官Vinoth Chandar所言，Hudi的亮点在于其高性能的开放式表格格式以及全面的开源软件栈，可对数据湖进行摄取、存储、优化和有效的自管理。
在Hudi所处的庞大供应商生态系统中，开放格式和开放软件之间的区别经常被忽略。然而，对于Hudi的用户而言，避免与任何特定的数据供应商的计算锁定仍然是一个重要的考虑因素。Hudi 1.0的发布，进一步巩固了其在开放数据生态系统中的地位。
二级索引：查询性能的飞跃
Hudi 1.0最引人注目的新特性之一是引入了新的二级索引系统。该系统旨在提高查询性能并降低数据扫描成本。用户现在可以在二级列上创建基于SQL的索引，从而大大加快查询执行速度。
更重要的是，Hudi 1.0还引入了基于表达式的索引，这与PostgreSQL中的功能类似。这种索引方式取代了传统的分区策略，使数据组织更加灵活高效。Snyk首席软件工程师Boris Litvak在去年预览版发布时就曾指出，Hudi 1.0（测试版）是三大ACID对象存储格式中第一个引入数据“函数索引”的格式，在SQL数据库术语中，我们通常称之为“二级索引”。这无疑为Hudi在数据湖领域的技术领先地位奠定了基础。
部分更新：存储和计算效率的提升
Hudi 1.0还引入了对部分更新的支持，允许对特定字段而不是整行进行更新。这种更新方式大大提高了存储和计算效率，减少了不必要的数据写入和处理。
非阻塞并发控制：提高数据写入的可靠性
非阻塞并发控制是Hudi 1.0的另一项重要改进。该特性使得多个流作业可以同时写入同一个数据集，而不会造成瓶颈或故障。这对于需要高并发写入的实时数据流场景至关重要。
Hudi 1.0与Spark的深度集成：打造类DBMS体验
在谈到数据库架构时，Chandar指出，Hudi 1.0可以通过Apache Spark提供最接近DBMS的体验。用户可以部署安装了Hudi 1.0的Spark服务器（或Spark Connect），提交SQL/任务，通过SQL命令协调表服务，并充分利用二级索引功能，从而像使用传统数据库一样加速查询。
这种深度集成不仅降低了用户的使用门槛，也为用户提供了更加强大的数据处理能力。Hudi 1.0的出现，使得数据湖不再仅仅是一个数据存储的地方，而是一个可以进行高效数据管理和分析的平台。
LSM树：高效的时间线管理
Hudi 1.0增强了存储引擎，采用了日志结构合并（LSM）树来实现高效的时间线管理。这种数据结构可以支持长期数据保留，并确保高性能查询规划，即使是包含数十亿条记录的数据集也不例外。
Hudi 1.0的意义：开启数据湖仓新时代
Onehouse和Apache Hudi PMC软件工程师Bhavani Sudha Saktheeswaran表示，无论是构建开放式数据平台，将数据流导入数据湖仓，并摒弃数据仓库，还是优化高性能查询，Hudi 1.0.0都能让用户比以往更轻松地使用数据湖仓。
Hudi 1.0的发布，不仅是对现有技术的改进，更是对未来数据管理方式的展望。它标志着数据湖技术正在向更加成熟和完善的方向发展，并逐渐成为企业数据管理的核心平台。
未来展望：Hudi的持续发展
Hudi 1.0的发布，无疑为数据湖技术的发展注入了新的活力。随着越来越多的企业开始采用数据湖架构，Hudi的未来发展前景十分广阔。我们有理由相信，Hudi将继续引领数据湖技术的发展，并为用户提供更加高效、灵活和可靠的数据管理解决方案。
在旧金山QCon大会上，Saktheeswaran和Uber软件工程师Saketh Chintapalli发表了关于使用Apache Hudi进行增量数据处理的演讲，进一步展示了Hudi在实际应用中的价值。会议录音可在InfoQ上获取，这为那些希望深入了解Hudi技术的用户提供了宝贵的学习资源。
总结
Apache Hudi 1.0的发布，是数据湖技术发展史上的一个重要里程碑。它不仅引入了二级索引、部分更新和非阻塞并发控制等一系列新特性，更重要的是，它将数据湖定位为一个功能完备的DLMS，为用户提供了更加高效、灵活和可靠的数据管理解决方案。随着Hudi的不断发展和完善，我们有理由相信，它将成为未来数据管理领域的核心技术之一，并为企业数字化转型提供强大的支持。
Hudi 1.0的发布，不仅仅是技术上的进步，更是对数据管理理念的革新。它打破了传统数据仓库的封闭性，为用户提供了更加开放、灵活和高效的数据管理方案。在未来，我们期待Hudi能够继续引领数据湖技术的发展，并为用户创造更大的价值。
参考文献：
- Apache Hudi 官方网站：https://hudi.apache.org/
- InfoQ 报道：https://www.infoq.com/news/2025/01/apache-hudi/
- Onehouse 官方网站：https://onehouse.ai/
- Snyk 官方网站：https://snyk.io/
- Apache Spark 官方网站：https://spark.apache.org/
- PostgreSQL 官方网站：https://www.postgresql.org/
Views: 0