sglang

话题找到数量

kvcache-ai/Mooncake

C++

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

disaggregation inference kvcache
kvcache-ai
kvcache-ai 开发者
5k
651
218
+14
排名 #21
4月3日
查看详情

SemiAnalysisAI/InferenceX

Python

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

ai amd benchmark
SemiAnalysisAI
SemiAnalysisAI 开发者
500
86
174
+6
排名 #6
2月18日
查看详情
助手