gpt-oss

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

基于LEANN的万物RAG系统。在个人设备上运行快速、精准且完全私密的RAG应用，同时享受97%的存储空间节省。

轻松微调、评估和部署gpt-oss、Qwen3、DeepSeek-R1或任何开源LLM/VLM！

运行前沿LLM和VLM，支持GPU、NPU和CPU的发布当日模型适配，覆盖PC（Python/C++）、移动端（Android和iOS）及Linux/IoT（Arm64和x86 Docker）的完整运行时环境。支持OpenAI GPT-OSS、IBM Granite-4、Qwen-3-VL、Gemma-3n、Ministral-3等模型。

通过Python、Android Java和iOS Swift绑定，在GPU、NPU和CPU上运行最新的LLM和VLM模型，快速部署OpenAI gpt-oss、Gemma 3、Qwen3等主流模型。

专为大语言模型/视觉语言模型设计的PyTorch分布式原生训练库，开箱即用支持Hugging Face