❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序，在微信中搜索 TrendForge Pro 即可使用小程序，如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️

serving

话题找到数量

vllm-project/vllm

Python

面向大语言模型的高吞吐量与内存优化型推理服务引擎

amd blackwell cuda
vllm-project
vllm-project 开发者
80k
17k
580
+182
排名 #11
5月20日
查看详情

skypilot-org/skypilot

Python

在任何AI基础设施上运行、管理和扩展AI工作负载。使用统一系统访问和管理所有AI计算资源（Kubernetes、17+云平台或本地部署）。

cloud-computing cloud-management cost-optimization
skypilot-org
skypilot-org 开发者
9.7k
1k
430
+20
排名 #12
3月21日
查看详情

vespa-engine/vespa

Java

在线AI与数据平台 https://vespa.ai

ai big-data java
vespa-engine
vespa-engine 开发者
6.9k
711
362
+20
排名 #21
4月29日
查看详情

volcano-sh/volcano

Go

云原生批处理系统（CNCF 孵化项目）

ai batch-systems bigdata
volcano-sh
volcano-sh 开发者
5.5k
1.3k
243
+7
排名 #14
4月29日
查看详情

kserve/kserve

Go

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

artificial-intelligence cncf genai
kserve
kserve 开发者
5.5k
1.5k
328
+8
排名 #18
5月12日
查看详情

beclab/Olares

Go

Olares：一个开源的私有云平台，助您重掌数据主权。

ai-agents ai-privacy edge-ai
beclab
beclab 开发者
4.5k
261
256
+79
排名 #8
5月3日
查看详情

vllm-project/vllm-omni

Python

一个面向全模态模型的高效推理框架。

audio-generation diffusion image-generation
vllm-project
vllm-project 开发者
4k
647
363
+530
排名 #15
3月29日
查看详情

vllm-project/vllm-ascend

C++

面向昇腾平台的vLLM社区维护硬件插件

ascend inference llm
vllm-project
vllm-project 开发者
2.1k
1.3k
523
+25
排名 #20
5月22日
查看详情

vllm-project/vllm-ascend

Python

面向昇腾平台的vLLM社区维护硬件插件

ascend inference llm
vllm-project
vllm-project 开发者
2.1k
1.2k
523
+31
排名 #11
5月10日
查看详情

alibaba/rtp-llm

Cuda

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

gpt inference llama
alibaba
alibaba 开发者
1.1k
194
391
+61
排名 #14
5月25日
查看详情
助手