apache/polaris
项目简介
Apache Polaris，面向Apache Iceberg的互操作开源目录
Apache Polaris, the interoperable, open source catalog for Apache Iceberg
智能解读
Apache Polaris 是一个专为 Apache Iceberg 设计的开源元数据目录。它完整实现了 Iceberg 的 REST API 标准，旨在解决数据湖场景下多计算引擎间的互操作难题。通过提供一个统一的中心化目录服务，Polaris 使得 Apache Flink、Apache Spark、Trino、Dremio、StarRocks 以及 Apache Doris 等多种流行数据处理引擎能够无缝、一致地访问和管理 Iceberg 表数据。这极大地简化了企业构建开放湖仓一体架构的复杂度，用户无需为每个引擎单独适配或维护元数据，从而提升了数据管理的效率与可靠性，并确保了跨平台作业的数据一致性。
使用场景
Apache Polaris最适合作为云原生、多引擎混算场景下的统一Apache Iceberg元数据目录服务中心。
统一多引擎数据访问
在数据湖架构中，使用Apache Spark、Flink、Trino等多个计算引擎访问Iceberg表时，需要为每个引擎单独配置和维护其专属的Hive Metastore或自定义目录，导致元数据管理分散且不一致。
部署Apache Polaris作为统一的Iceberg REST目录，所有计算引擎（如Spark、Flink、Trino）都通过标准的Iceberg REST API连接到Polaris，实现一处元数据定义，多处无缝访问。
一个数据分析平台同时运行Spark ETL任务、Flink实时计算和Trino即席查询，通过Polaris作为中心目录，所有引擎都能看到同一张`user_behavior` Iceberg表的最新元数据和快照，保证数据一致性。
简化云原生部署与管理
在Kubernetes等云原生环境中，传统的基于JVM和Hive Metastore的目录服务部署复杂，与云原生生态集成度不高，难以实现弹性伸缩和统一配置管理。
Polaris采用Quarkus构建，可以编译为原生可执行文件，轻松打包为容器镜像，在K8s中部署。它提供了清晰的管理API和配置，便于云原生环境下的运维和自动化。
数据工程团队希望将数据湖目录服务容器化并部署在K8s集群中。他们使用Polaris的Docker镜像，通过其管理API进行初始化和配置，并利用K8s的HPA根据负载自动伸缩Polaris实例。
实现元数据联邦与迁移
从传统数据仓库（如Hive）迁移到Iceberg数据湖，或需要让Iceberg引擎访问现有Hive表时，面临元数据迁移困难或需要维护两套系统的问题。
利用Polaris的Hive联邦扩展（`polaris-extensions-federation-hive`），可以将现有的Hive Metastore中的表映射到Polaris目录中，实现平滑迁移或跨系统元数据统一视图。
公司计划将Hive数仓迁移到Iceberg湖仓一体架构。在过渡期，通过配置Polaris的Hive联邦功能，让Spark on Iceberg能够直接查询并逐步迁移原有的Hive表，而无需立即进行物理数据转换。
提供稳定可插拔的目录服务
自建或使用某些Iceberg目录实现时，可能遇到与Iceberg REST API兼容性、高可用性或持久化存储支持不足的问题，影响生产稳定性。
Polaris是Apache官方孵化的、功能完整的Iceberg目录实现，严格遵循Iceberg REST标准，提供JDBC等多种持久化后端支持，可以作为生产级、可插拔的目录服务直接使用。
一个团队在使用Iceberg时，需要一个独立、高可用的目录服务来替换内嵌的本地文件系统目录。他们选择部署Polaris，并配置其使用PostgreSQL作为元数据存储后端，从而获得了企业级的数据可靠性和服务可用性。
项目健康度
综合活跃度、人气、增长、社区、文档评估
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
Snailclimb/JavaGuide
「Java学习+面试指南」涵盖大多数Java程序员需掌握的核心知识。备战Java面试，首选JavaGuide！
krahets/hello-algo
《Hello 算法》：动画图解、一键运行的数据结构与算法教程。支持 Python, Java, C++, C, C#, JS, Go, Swift, Rust, Ruby, Kotlin, TS, Dart 代码。简体版和繁体版同步更新，英文版翻译中
iluwatar/java-design-patterns
Java 实现的设计模式
spring-projects/spring-boot
Spring Boot 助您轻松创建基于 Spring 的生产级应用程序和服务
MisterBooo/LeetCodeAnimation
Demonstrate all the questions on LeetCode in the form of animation.（用动画的形式呈现解LeetCode题目的思路）
elastic/elasticsearch
免费开源的分布式 RESTful 搜索引擎
加载评论中...