Spark

Apache Spark——面向大规模数据处理的统一分析引擎

数据工程全方位学习资源汇总仓库

数据工程集训营是一门为期九周的免费课程，涵盖数据工程基础知识。

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

Apache Doris 是一款易用、高性能的统一分析数据库。

SeaTunnel是多模态、高性能、分布式海量数据集成工具

一种开源存储框架，能够通过Spark、PrestoDB、Flink、Trino和Hive等计算引擎及API构建湖仓架构。

H2O是一个开源、分布式、快速且可扩展的机器学习平台：支持深度学习、梯度提升、XGBoost、随机森林、广义线性模型、K均值聚类、主成分分析、广义可加模型、规则拟合、支持向量机、堆叠集成、自动机器学习等。

大数据上的更新插入、删除与增量处理

简易分布式机器学习

顶尖自然语言处理技术

Deequ是基于Apache Spark构建的库，用于定义"数据单元测试"，可测量大规模数据集的数据质量

Apache Paimon 是一种湖存储格式，支持基于 Flink 和 Spark 构建流批一体的实时湖仓架构。

Apache Kyuubi是面向数据仓库和数据湖的分布式多租户无服务SQL网关

Gluten是一个中间层，负责将基于JVM的SQL引擎执行卸载到原生引擎。

Gluten是一个中间层，负责将基于JVM的SQL引擎执行卸载到原生引擎。

LakeSail的计算框架，其使命是统一批处理、流处理和计算密集型AI工作负载。

Apache DataFusion Comet Spark加速器

Sparkling Water在Spark集群内提供H2O功能。

Spark RAPIDS 插件——利用 GPU 加速 Apache Spark

Apache Livy 是一个开源 REST 接口，支持从任意位置与 Apache Spark 进行交互。

安全数据共享的开放协议

TiSpark 专为在 TiDB/TiKV 之上运行 Apache Spark 而构建

Apache Spark 的 Snowflake 数据源。