面向大语言模型的高吞吐量与内存优化型推理服务引擎

OpenAI Whisper模型的C/C++移植版本

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

面向直播与流媒体的跨平台可定制机器学习解决方案

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

NVIDIA® TensorRT™是用于NVIDIA GPU高性能深度学习推理的SDK，本仓库包含其开源组件

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

开箱即用的云端模板，支持RAG、AI流水线及实时数据企业搜索。🐳兼容Docker容器部署。⚡始终与SharePoint、Google Drive、S3、Kafka、PostgreSQL、实时数据API等平台保持同步。

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

Composio提供1000多种工具包、工具搜索、上下文管理、身份验证以及沙盒化工作台，助您构建能将意图转化为行动的AI智能体。

构建AI/大语言模型应用的开源开发者平台，提供端到端追踪、可观测性与评估功能的一体化集成平台

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

本代码库提供端到端的代码优先教程，涵盖生产级生成式AI智能体的每个层级，通过经过验证的模式和可复用的蓝图，指导您从创意火花到规模化部署，助力实际应用落地。

点亮AI智能体的终极训练器

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

又名Awesome ChatGPT提示词库。分享、发现并收集来自社区的提示词。免费开源——为您的组织提供完全隐私的自托管服务。

面向智能体工作流开发的生产就绪平台。

用户友好型AI交互界面（支持Ollama、OpenAI API等）

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥