moe

共找到 3 个相关项目

vllm-project/vllm

Python

面向大语言模型的高吞吐量与内存优化型推理服务引擎

amd blackwell cuda
vllm-project
vllm-project 开发者
68k
12k
59
+182
排名 #8
1月23日
查看详情

sgl-project/sglang

Python

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

attention blackwell cuda
sgl-project
sgl-project 开发者
23k
4.3k
126
+128
排名 #9
2月6日
查看详情

flashinfer-ai/flashinfer

Python

FlashInfer：大语言模型服务的核心计算库

attention cuda distributed-inference
flashinfer-ai
flashinfer-ai 开发者
4.8k
670
95
+14
排名 #7
1月27日
查看详情
助手