llmops

开箱即用的云端模板，支持RAG、AI流水线及实时数据企业搜索。🐳兼容Docker容器部署。⚡始终与SharePoint、Google Drive、S3、Kafka、PostgreSQL、实时数据API等平台保持同步。

Composio提供1000多种工具包、工具搜索、上下文管理、身份验证以及沙盒化工作台，助您构建能将意图转化为行动的AI智能体。

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

构建、管理与部署人工智能及机器学习系统

AI可观测性与评估体系。

Evidently 是开源的机器学习和大语言模型可观测性框架。评估、测试并监控任何AI驱动系统或数据流水线。从表格数据到生成式AI，涵盖100多项指标。

⚙️🦀 用 Rust 构建模块化、可扩展的 LLM 应用程序

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面，可卸载底层管道工作，让您专注于智能体核心逻辑开发（支持任意AI框架）。

自学习智能体的上下文数据平台。为智能体提供存储、观察与学习的统一场所。旨在简化上下文工程，提升智能体可靠性与任务成功率。

学习运用大语言模型、智能体、检索增强生成、微调、大语言模型运维与人工智能系统技术，构建你的第二大脑AI助手。

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

面向昇腾平台的vLLM社区维护硬件插件

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。