面向昇腾平台的vLLM社区维护硬件插件

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

🚀 AI全自动短视频引擎

面向加速视频生成的统一推理与训练后处理框架

通过最快的KV缓存层为您的LLM加速

可在本地运行AI的生产就绪工具包

纯C/C++实现的扩散模型（SD/Flux/Wan等）推理框架

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

ncnn专为移动平台优化的高性能神经网络推理框架

Stable Diffusion网页界面

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

一键部署您自己的人工智能应用网页界面，涵盖GPT、Midjourney、ChatDoc、QrArt，轻松实现盈利。

OpenAI Whisper模型的C/C++移植版本

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。