项目竞品

共找到 10 个竞品
openvinotoolkit

openvinotoolkit/openvino

9.7k 3.1k

OpenVINO™是用于优化和部署AI推理的开源工具套件

C++ llm-inference
相似度
50%
+207
cactus-compute

cactus-compute/cactus

4.3k 313

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

C++ llm-inference
相似度
50%
+68
jd-opensource

jd-opensource/xllm

1.1k 140

专为多种AI加速器优化的大语言模型高性能推理引擎。

C++ llm-inference
相似度
50%
+9
gitleaks

gitleaks/gitleaks

25.0k 1.9k

使用Gitleaks 🔑 发现密钥 (注:根据技术文档惯例,"secrets"在此语境中指代密钥、凭证等敏感信息,采用"密钥"译法符合行业标准;保留工具名称"Gitleaks"不译;添加"使用"二字使中文表达更完整自然;表情符号位置根据中文阅读习惯调整)

Go llm-inference
相似度
50%
+119
mistralai

mistralai/mistral-inference

10.7k 1.0k

Mistral模型官方推理库

Jupyter Notebook llm-inference
相似度
50%
katanemo

katanemo/plano

5.1k 290

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面,可卸载底层管道工作,让您专注于智能体核心逻辑开发(支持任意AI框架)。

Rust llm-inference
相似度
50%
+63
flashinfer-ai

flashinfer-ai/flashinfer

4.8k 670

FlashInfer:大语言模型服务的核心计算库

Python llm-inference
相似度
50%
+14
NVIDIA

NVIDIA/GenerativeAIExamples

3.8k 976

面向加速基础设施与微服务架构优化的生成式AI参考工作流

Jupyter Notebook llm-inference
相似度
50%
+20
ruvnet

ruvnet/ruvector

707 124

RuVector是一款用Rust构建的高性能向量与图数据库,专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎,实现可扩展、低延迟的推理与结构化检索。

Rust llm-inference
相似度
50%
+108
timmyy123

timmyy123/LLM-Hub

136 34

安卓本地人工智能助手

Kotlin llm-inference
相似度
50%
+4
助手