在本地运行 Kubernetes

🦍 云原生API网关与AI网关。

生产级容器调度与管理平台

面向分布式系统核心数据的分布式可靠键值存储

即使是精干团队也能快速实现AI驱动的全栈可观测性

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

面向大语言模型的高吞吐量与内存优化型推理服务引擎

面向 AI Copilot、AI 聊天机器人和应用内 AI 代理的 React UI 与优雅基础设施。智能体最后一公里解决方案

集成多款即时通讯平台、大语言模型、插件及AI功能的智能聊天机器人基础设施，可作为OpenClaw的替代方案。✨

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

与你共同成长的智能体

又名Awesome ChatGPT提示词库。分享、发现并收集来自社区的提示词。免费开源——为您的组织提供完全隐私的自托管服务。

面向智能体工作流开发的生产就绪平台。

🦜🔗 构建情境感知推理应用程序 🦜🔗

用户友好型AI交互界面（支持Ollama、OpenAI API等）

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

使用PyTorch从零开始逐步实现类ChatGPT大型语言模型

RAGFlow 是领先的开源检索增强生成引擎，融合尖端 RAG 与智能体能力，为大型语言模型构建卓越的上下文层

🪨 能用少量token解决问题时何必用大量token——通过像穴居人一样说话来削减65%token的Claude Code技巧

百款大语言模型与视觉语言模型的统一高效微调框架（ACL 2024）