使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

面向大语言模型的高吞吐量与内存优化型推理服务引擎

Mistral模型官方推理库

开箱即用的云端模板，支持RAG、AI流水线及实时数据企业搜索。🐳兼容Docker容器部署。⚡始终与SharePoint、Google Drive、S3、Kafka、PostgreSQL、实时数据API等平台保持同步。

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

🪢 开源LLM工程平台：LLM可观测性、指标评估、提示管理、游乐场、数据集。与OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具集成。🍊YC W23

Composio提供1000多种工具包、工具搜索、上下文管理、身份验证以及沙盒化工作台，助您构建能将意图转化为行动的AI智能体。

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等

一个集成了防护机制的极速AI网关，通过一个快速友好的API路由至200多个大型语言模型和50多个AI防护机制。