inference

GPT4All：在任何设备上运行本地大语言模型。开源且可商用。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

OpenAI Whisper模型的C/C++移植版本

采用静态类型推断的TypeScript优先模式验证

面向直播与流媒体的跨平台可定制机器学习解决方案

使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

NVIDIA® TensorRT™是用于NVIDIA GPU高性能深度学习推理的SDK，本仓库包含其开源组件

Mistral模型官方推理库

OpenVINO™是用于优化和部署AI推理的开源工具套件

可在本地运行AI的生产就绪工具包

可在本地运行AI的生产就绪工具包

适用于Apple Silicon设备的本地语音识别

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面，可卸载底层管道工作，让您专注于智能体核心逻辑开发（支持任意AI框架）。

FlashInfer：大语言模型服务的核心计算库

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

面向加速基础设施与微服务架构优化的生成式AI参考工作流

任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

面向加速视频生成的统一推理与训练后处理框架

📚 OpenVINO™ 的 Jupyter Notebook 教程

面向昇腾平台的vLLM社区维护硬件插件