llm-inference

话题找到数量

nomic-ai/gpt4all

GPT4All:在任何设备上运行本地大语言模型。开源且可商用。

77k
8.3k
155
+92
排名 #13
4月7日
查看详情

gitleaks/gitleaks

使用Gitleaks 🔑 发现密钥 (注:根据技术文档惯例,"secrets"在此语境中指代密钥、凭证等敏感信息,采用"密钥"译法符合行业标准;保留工具名称"Gitleaks"不译;添加"使用"二字使中文表达更完整自然;表情符号位置根据中文阅读习惯调整)

25k
1.9k
225
+119
排名 #19
3月6日
查看详情

mistralai/mistral-inference

Mistral模型官方推理库

10k
1k
118
排名 #15
2月16日
查看详情

openvinotoolkit/openvino

OpenVINO™是用于优化和部署AI推理的开源工具套件

10k
3.2k
257
+207
排名 #22
4月9日
查看详情

katanemo/plano

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面,可卸载底层管道工作,让您专注于智能体核心逻辑开发(支持任意AI框架)。

6.2k
382
206
+685
排名 #15
4月7日
查看详情

kserve/kserve

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

5.3k
1.4k
126
+8
排名 #16
4月8日
查看详情

flashinfer-ai/flashinfer

FlashInfer:大语言模型服务的核心计算库

4.8k
670
250
+14
排名 #7
1月27日
查看详情

cactus-compute/cactus

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

4.5k
332
175
+225
排名 #13
3月15日
查看详情

cactus-compute/cactus

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

4.2k
293
175
+68
排名 #15
2月8日
查看详情

NVIDIA/GenerativeAIExamples

面向加速基础设施与微服务架构优化的生成式AI参考工作流

3.9k
1k
210
+21
排名 #15
4月6日
查看详情

ruvnet/ruvector

RuVector是一款用Rust构建的高性能向量与图数据库,专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎,实现可扩展、低延迟的推理与结构化检索。

3.5k
415
254
+1.8k
排名 #11
3月22日
查看详情

jd-opensource/xllm

专为多种AI加速器优化的大语言模型高性能推理引擎。

1.2k
175
219
+12
排名 #21
4月9日
查看详情

Context-Engine-AI/Context-Engine

Context-Engine MCP - 智能上下文压缩套件

373
46
96
+27
排名 #8
3月31日
查看详情

timmyy123/LLM-Hub

安卓本地人工智能助手

271
65
177
+13
排名 #17
4月8日
查看详情
助手