llm-inference

GPT4All：在任何设备上运行本地大语言模型。开源且可商用。

使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

Mistral模型官方推理库

OpenVINO™是用于优化和部署AI推理的开源工具套件

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面，可卸载底层管道工作，让您专注于智能体核心逻辑开发（支持任意AI框架）。

FlashInfer：大语言模型服务的核心计算库

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

面向加速基础设施与微服务架构优化的生成式AI参考工作流

专为多种AI加速器优化的大语言模型高性能推理引擎。

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。