面向大语言模型的高吞吐量与内存优化型推理服务引擎

通过最快的KV缓存层为您的LLM加速

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

在任何AI基础设施上运行、管理和扩展AI工作负载。使用统一系统访问和管理所有AI计算资源（Kubernetes、17+云平台或本地部署）。

构建、管理与部署人工智能及机器学习系统

面向语言模型的完全自动审查移除工具

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

示例 📓 Jupyter 笔记本，展示如何使用 🧠 Amazon SageMaker 构建、训练和部署机器学习模型。

Evidently 是开源的机器学习和大语言模型可观测性框架。评估、测试并监控任何AI驱动系统或数据流水线。从表格数据到生成式AI，涵盖100多项指标。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

点亮AI智能体的终极训练器

可在本地运行AI的生产就绪工具包

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等

一个集成了防护机制的极速AI网关，通过一个快速友好的API路由至200多个大型语言模型和50多个AI防护机制。

⚙️🦀 用 Rust 构建模块化、可扩展的 LLM 应用程序

可扩展且灵活的工作流编排平台，无缝统一数据、机器学习和分析技术栈。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

OpenAI Whisper模型的C/C++移植版本