MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

面向大语言模型的高吞吐量与内存优化型推理服务引擎

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

示例 📓 Jupyter 笔记本，展示如何使用 🧠 Amazon SageMaker 构建、训练和部署机器学习模型。

构建、管理与部署人工智能及机器学习系统

可在本地运行AI的生产就绪工具包

OpenAI Whisper模型的C/C++移植版本

面向语言模型的完全自动审查移除工具

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等

一个集成了防护机制的极速AI网关，通过一个快速友好的API路由至200多个大型语言模型和50多个AI防护机制。

本代码库提供端到端的代码优先教程，涵盖生产级生成式AI智能体的每个层级，通过经过验证的模式和可复用的蓝图，指导您从创意火花到规模化部署，助力实际应用落地。

点亮AI智能体的终极训练器

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

🪢 开源LLM工程平台：LLM可观测性、指标评估、提示管理、游乐场、数据集。与OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具集成。🍊YC W23

Composio提供1000多种工具包、工具搜索、上下文管理、身份验证以及沙盒化工作台，助您构建能将意图转化为行动的AI智能体。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。