inference

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

FlashInfer：大语言模型服务的核心计算库

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

面向加速基础设施与微服务架构优化的生成式AI参考工作流

一个面向全模态模型的高效推理框架。

任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

面向加速视频生成的统一推理与训练后处理框架

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

用于因果人工智能的Python库

📚 OpenVINO™ 的 Jupyter Notebook 教程

面向移动设备、服务器和Web的高效浮点神经网络推理算子

面向昇腾平台的vLLM社区维护硬件插件

面向昇腾平台的vLLM社区维护硬件插件

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

基于Envoy Gateway构建的生成式AI服务统一访问管理平台

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

专为多种AI加速器优化的大语言模型高性能推理引擎。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

开源网络管理与可观测性平台