llmops

开箱即用的云端模板，支持RAG、AI流水线及实时数据企业搜索。🐳兼容Docker容器部署。⚡始终与SharePoint、Google Drive、S3、Kafka、PostgreSQL、实时数据API等平台保持同步。

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

Composio提供1000多种工具包、工具搜索、上下文管理、身份验证以及沙盒化工作台，助您构建能将意图转化为行动的AI智能体。

🪢 开源LLM工程平台：LLM可观测性、指标评估、提示管理、游乐场、数据集。与OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具集成。🍊YC W23

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等

一个集成了防护机制的极速AI网关，通过一个快速友好的API路由至200多个大型语言模型和50多个AI防护机制。

构建、管理与部署人工智能及机器学习系统

AI可观测性与评估体系。

Evidently 是开源的机器学习和大语言模型可观测性框架。评估、测试并监控任何AI驱动系统或数据流水线。从表格数据到生成式AI，涵盖100多项指标。

⚙️🦀 用 Rust 构建模块化、可扩展的 LLM 应用程序

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面，可卸载底层管道工作，让您专注于智能体核心逻辑开发（支持任意AI框架）。

🧊 开源大语言模型可观测性平台。一行代码实现监控、评估与实验。YC W23 🍓

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

开源LLMOps平台：集提示词游乐场、提示词管理、大语言模型评估与模型可观测性于一体。

自学习智能体的上下文数据平台。为智能体提供存储、观察与学习的统一场所。旨在简化上下文工程，提升智能体可靠性与任务成功率。

学习运用大语言模型、智能体、检索增强生成、微调、大语言模型运维与人工智能系统技术，构建你的第二大脑AI助手。

面向昇腾平台的vLLM社区维护硬件插件

面向昇腾平台的vLLM社区维护硬件插件

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。