sglang

共找到 2 个相关项目

kvcache-ai/Mooncake

C++

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

disaggregation inference kvcache
kvcache-ai
kvcache-ai 开发者
4.8k
558
120
+14
排名 #21
2月14日
查看详情

SemiAnalysisAI/InferenceX

Python

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

ai amd benchmark
SemiAnalysisAI
SemiAnalysisAI 开发者
500
86
79
+6
排名 #6
2月18日
查看详情
助手