inference

共找到 28 个相关项目

jd-opensource/xllm

C++

专为多种AI加速器优化的大语言模型高性能推理引擎。

deepseek inference inference-engine
jd-opensource
jd-opensource 开发者
1.1k
140
154
+9
排名 #21
2月13日
查看详情

alibaba/rtp-llm

Cuda

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

gpt inference llama
alibaba
alibaba 开发者
1k
154
106
+61
排名 #14
2月15日
查看详情

thu-ml/SpargeAttn

Cuda

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

ai-infra attention inference-acceleration
thu-ml
thu-ml 开发者
938
84
108
+4
排名 #16
2月13日
查看详情

carverauto/serviceradar

Elixir

开源网络管理与可观测性平台

armis causal-discovery causal-inference
carverauto
carverauto 开发者
812
57
112
+76
排名 #3
2月18日
查看详情

ruvnet/ruvector

Rust

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

ai ai-ocr attention-mechanism
ruvnet
ruvnet 开发者
707
124
97
+108
排名 #9
2月24日
查看详情

timmyy123/LLM-Hub

Kotlin

安卓本地人工智能助手

ai gemma3 gemma3n
timmyy123
timmyy123 开发者
136
34
17
+4
排名 #16
2月24日
查看详情
助手