大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

面向大语言模型的高吞吐量与内存优化型推理服务引擎

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

百款大语言模型与视觉语言模型的统一高效微调框架（ACL 2024）

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

运行前沿LLM和VLM，支持GPU、NPU和CPU的发布当日模型适配，覆盖PC（Python/C++）、移动端（Android和iOS）及Linux/IoT（Arm64和x86 Docker）的完整运行时环境。支持OpenAI GPT-OSS、IBM Granite-4、Qwen-3-VL、Gemma-3n、Ministral-3等模型。

通过Python、Android Java和iOS Swift绑定，在GPU、NPU和CPU上运行最新的LLM和VLM模型，快速部署OpenAI gpt-oss、Gemma 3、Qwen3等主流模型。

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

LangChain的Java实现版本

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等