Spark

Apache Spark——面向大规模数据处理的统一分析引擎

数据工程全方位学习资源汇总仓库

数据工程集训营是一门为期九周的免费课程，涵盖数据工程基础知识。

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

Apache Doris 是一款易用、高性能的统一分析数据库。

SeaTunnel是多模态、高性能、分布式海量数据集成工具

一种开源存储框架，能够通过Spark、PrestoDB、Flink、Trino和Hive等计算引擎及API构建湖仓架构。

H2O是一个开源、分布式、快速且可扩展的机器学习平台：支持深度学习、梯度提升、XGBoost、随机森林、广义线性模型、K均值聚类、主成分分析、广义可加模型、规则拟合、支持向量机、堆叠集成、自动机器学习等。

大数据上的更新插入、删除与增量处理

Deequ是基于Apache Spark构建的库，用于定义"数据单元测试"，可测量大规模数据集的数据质量

Apache Paimon 是一种湖存储格式，支持基于 Flink 和 Spark 构建流批一体的实时湖仓架构。

Apache Kyuubi是面向数据仓库和数据湖的分布式多租户无服务SQL网关

Gluten是一个中间层，负责将基于JVM的SQL引擎执行卸载到原生引擎。

Apache DataFusion Comet Spark加速器

Sparkling Water在Spark集群内提供H2O功能。

Spark RAPIDS 插件——利用 GPU 加速 Apache Spark

Apache Livy 是一个开源 REST 接口，支持从任意位置与 Apache Spark 进行交互。

安全数据共享的开放协议

TiSpark 专为在 TiDB/TiKV 之上运行 Apache Spark 而构建

基于DataSourceV2 API构建的Spark ClickHouse连接器