inference

适用于Apple Silicon设备的本地语音识别

一款用于发现PHP应用程序错误与安全漏洞的静态分析工具

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

一个面向全模态模型的高效推理框架。

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

FlashInfer：大语言模型服务的核心计算库

面向Transformer模型的快速推理引擎

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

CSGHub是由OpenCSG团队开发的全新开源大语言模型管理平台，提供开源版和本地化/SaaS解决方案，功能对标Hugging Face。完整掌控大语言模型、数据集和智能体的生命周期，Python SDK与Hugging Face兼容。欢迎加入我们！⭐️

面向加速基础设施与微服务架构优化的生成式AI参考工作流

任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

面向加速视频生成的统一推理与训练后处理框架

用于因果人工智能的Python库

📚 OpenVINO™ 的 Jupyter Notebook 教程

一个用Rust编写的便携式加速SQL查询、搜索及LLM推理引擎，适用于数据驱动的AI应用与智能体。

面向昇腾平台的vLLM社区维护硬件插件

面向移动设备、服务器和Web的高效浮点神经网络推理算子