❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序，在微信中搜索 TrendForge Pro 即可使用小程序，如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️
datahub-project/datahub
项目介绍
数据与 AI 技术栈的元数据平台
The Metadata Platform for your Data and AI Stack
智能解读
DataHub 是一个面向现代数据技术栈的开源元数据平台，核心功能是作为企业级的数据目录、数据发现与治理工具。它能够自动采集、整合并可视化来自不同数据源（如数据库、数据仓库、流处理系统）的元数据，构建统一的实时元数据图谱。通过直观的 Web 界面，用户可快速搜索、理解数据资产的来源、血缘关系和变更历史，从而提升数据协作效率、确保数据合规性。项目由 LinkedIn 发起并开源，提供 Docker 快速部署、Kubernetes 支持及丰富的集成连接器，适用于需要集中管理复杂数据环境、实现数据可观测性与治理的团队。
使用场景
DataHub 最适合需要统一管理多源数据资产、实现数据快速发现、血缘追踪和合规治理的中大型数据团队。
数据资产快速发现
数据团队在数百张表和数千个字段中查找特定数据时，往往依赖文档或口口相传，效率低下且容易遗漏。
DataHub 自动采集数据库、数据仓库等元数据，提供全局搜索和过滤，用户可快速定位数据表、字段及描述。
分析师想找包含‘用户活跃度’字段的表，在 DataHub 搜索栏输入关键词，立即看到相关表和字段定义，无需询问他人。
数据血缘追踪与影响分析
修改上游表结构时，无法预知会影响哪些下游报表或ETL任务，导致生产事故频发。
DataHub 构建实时血缘图谱，展示数据从源头到消费端的完整链路，支持点击查看上下游依赖。
数据工程师要删除一个旧字段，先在 DataHub 查看该字段的血缘图，发现它被3个关键报表引用，从而提前通知相关团队调整。
数据治理与合规审计
企业需要满足GDPR等法规，但缺乏对敏感数据分布和访问历史的统一视图，审计困难。
DataHub 支持标记敏感字段、记录数据变更历史，并提供治理仪表盘，便于合规团队审查。
安全管理员在 DataHub 中将包含PII的字段标记为‘敏感’，随后审计时可通过搜索‘敏感’标签快速定位所有受控数据，并查看其访问日志。
跨平台数据目录统一管理
公司同时使用MySQL、Snowflake、Kafka等多个数据系统，元数据分散，难以统一管理。
DataHub 提供丰富的连接器，自动从不同数据源采集元数据并整合到统一图谱中，Web界面集中浏览。
数据平台团队部署 DataHub 后，一次配置即可采集所有数据源（如MySQL表、Kafka Topic、dbt模型），所有数据资产在一个地方可见。
项目健康度
距上次更新 84 天
平台 Star TOP 7% · Forks 3,454
本周 +35 ⭐ · 本月 +128 ⭐
408 位贡献者 · 0 条平台评论
文档资料完整
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
Snailclimb/JavaGuide
「Java学习+面试指南」涵盖大多数Java程序员需掌握的核心知识。备战Java面试，首选JavaGuide！
krahets/hello-algo
《Hello 算法》：动画图解、一键运行的数据结构与算法教程。支持 Python, Java, C++, C, C#, JS, Go, Swift, Rust, Ruby, Kotlin, TS, Dart 代码。简体版和繁体版同步更新，英文版翻译中
iluwatar/java-design-patterns
Java 实现的设计模式
Stirling-Tools/Stirling-PDF
首款本地托管式PDF文件多功能处理Web应用
spring-projects/spring-boot
Spring Boot 助您轻松创建基于 Spring 的生产级应用程序和服务
elastic/elasticsearch
免费开源的分布式 RESTful 搜索引擎
加载评论中...