面向大语言模型的高吞吐量与内存优化型推理服务引擎

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

集成多款即时通讯平台、大语言模型、插件及AI功能的智能聊天机器人基础设施，可作为OpenClaw的替代方案。✨

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

又名Awesome ChatGPT提示词库。分享、发现并收集来自社区的提示词。免费开源——为您的组织提供完全隐私的自托管服务。

面向智能体工作流开发的生产就绪平台。

开箱即用的云端模板，支持RAG、AI流水线及实时数据企业搜索。🐳兼容Docker容器部署。⚡始终与SharePoint、Google Drive、S3、Kafka、PostgreSQL、实时数据API等平台保持同步。

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

🤖 在浏览器中组装、配置并部署自主AI智能体。

LightRAG：简单快速的检索增强生成框架

Composio提供1000多种工具包、工具搜索、上下文管理、身份验证以及沙盒化工作台，助您构建能将意图转化为行动的AI智能体。

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

使用单张4GB GPU实现AirLLM 70B推理

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

用户友好型AI交互界面（支持Ollama、OpenAI API等）

21堂课带你入门生成式AI开发

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

🌐 让网站可供AI智能体访问。轻松实现在线任务自动化。