#data 每日趋势报告

数据工程全方位学习资源汇总仓库

专为大语言模型微调数据集打造的强大工具

作为Postgres扩展打包的高性能实时分析时序数据库

仅用6行代码实现AI代理记忆功能

一份为量化金融（Quantitative Finance）领域精心整理的极致资源清单，涵盖各类优秀的库、工具包及相关资源。

研发对于提升工业生产力至关重要，尤其在AI时代，其核心聚焦于数据与模型。我们致力于通过R&D-Agent自动化这些高价值的通用研发流程，让人工智能驱动数据驱动的AI研究。🔗https://aka.ms/RD-Agent-Tech-Report

一款灵活的分布式键值数据库，针对缓存及其他实时工作负载进行了优化。

易于使用的开源商业智能和嵌入式分析工具，让每个人都能轻松处理数据 📊

一个使用URL语法传输数据的命令行工具和库，支持DICT、FILE、FTP、FTPS、GOPHER、GOPHERS、HTTP、HTTPS、IMAP、IMAPS、LDAP、LDAPS、MQTT、POP3、POP3S、RTMP、RTMPS、RTSP、SCP、SFTP、SMB、SMBS、SMTP、SMTPS、TELNET、TFTP、WS及WSS协议。libcurl提供大量强大功能

TiDB - 专为现代应用设计的开源云原生分布式SQL数据库

Apache Spark——面向大规模数据处理的统一分析引擎

适用于任意Postgres数据库的REST API

🌊 基于Julia语言的高效、友好、灵活、海洋风味流体动力学软件，支持CPU与GPU计算

领先的数据集成平台，支持从API、数据库和文件到数据仓库、数据湖及湖仓一体的ETL/ELT数据管道。同时提供自托管和云托管两种部署方式。

人人可用的图技术

适用于 Linux、BSD、OSX 和 Windows 的快速轻量级日志、指标与追踪处理器

超越冰箱的ERP系统——Grocy是一款基于网页的自托管家庭食品杂货与家居管理解决方案

🔥 人人可用的开源 BI 工具，数据可视化神器

专为工业物联网（IIoT）场景设计的高性能、可扩展时序数据库

基于Kubernetes运行的Apache Kafka®

为特斯拉汽车提供的自托管数据记录器

GLPI 是一款免费的资产和 IT 管理软件包，提供数据中心管理、ITIL 服务台、许可证跟踪和软件审计功能。

Apache DataFusion Comet Spark加速器

基于Florence-2和LaMA模型的AI水印去除工具：一款利用先进深度学习模型有效去除图像水印的Python应用程序，提供用户友好的PyQt6界面。

Ash框架的PostgreSQL数据层

Apache Cassandra® 数据库

安全数据共享的开放协议

一种开源存储框架，能够通过Spark、PrestoDB、Flink、Trino和Hive等计算引擎及API构建湖仓架构。

Fluentd：统一日志记录层（CNCF托管项目）

适用于MySQL、PostgreSQL、SQL Server、MongoDB、SQLite等数据库的管理工具。支持Windows、Linux、Mac操作系统或作为Web应用程序运行。

Apache Kyuubi是面向数据仓库和数据湖的分布式多租户无服务SQL网关

Deequ是基于Apache Spark构建的库，用于定义"数据单元测试"，可测量大规模数据集的数据质量

ClimaAtmos.jl 是一个大气模型，旨在利用数据同化和机器学习工具来建模和校准次网格尺度过程。

Postgres变更数据捕获至数据流、队列及搜索引擎（如Kafka、SQS、Elasticsearch、HTTP端点等）

易受攻击的Ruby Gems数据库

DummyJSON.com 提供各类填充了JSON数据的REST端点，您可在使用偏好框架与库开发前端时直接调用，无需编写后端代码。

https://github.com/tpope/vim-dadbod 的简洁用户界面

Presto分布式大数据SQL查询引擎官方项目

DataCap is integrated software for data transformation, integration, and visualization. Support a variety of data sources, file types, big data related database, relational database, NoSQL database, etc. Through the software can realize the management of multiple data sources, the data under the source of various operations conversion ...