vllm

共找到 7 个相关项目

meta-llama/llama-cookbook

欢迎来到Llama实践指南!这是您使用Llama进行开发的必备指南:涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题,并在不同云服务平台上进行部署

18k
2.7k
78
+23
排名 #14
2月16日
查看详情

OpenBMB/UltraRAG

UltraRAG v3:一个用于构建复杂创新RAG管道的低代码MCP框架

5.3k
377
52
+2.6k
排名 #13
2月22日
查看详情

kvcache-ai/Mooncake

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

4.8k
558
115
+14
排名 #21
2月14日
查看详情

vllm-project/semantic-router

面向混合模型的智能路由器。

3.1k
514
72
+479
排名 #8
1月31日
查看详情

mostlygeek/llama-swap

llama.cpp(或任何兼容本地OpenAI API的服务器)的模型热替换

2.4k
175
40
+79
排名 #19
2月8日
查看详情

vllm-project/vllm-ascend

面向昇腾平台的vLLM社区维护硬件插件

1.7k
822
76
+25
排名 #20
2月10日
查看详情

SemiAnalysisAI/InferenceX

开源持续推理基准测试:Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100,即将支持TPUv6e/v7/Trainium2/3

500
86
78
+6
排名 #6
2月18日
查看详情
助手