model-serving

共找到 3 个相关项目

vllm-project/vllm

面向大语言模型的高吞吐量与内存优化型推理服务引擎

68k
12k
66
+182
排名 #8
1月23日
查看详情

vllm-project/vllm-ascend

面向昇腾平台的vLLM社区维护硬件插件

1.7k
822
81
+25
排名 #20
2月10日
查看详情

alibaba/rtp-llm

RTP-LLM:阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

1k
154
73
+61
排名 #14
2月15日
查看详情
助手