vllm

共找到 7 个相关项目

meta-llama/llama-cookbook

Jupyter Notebook

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

ai finetuning langchain
meta-llama
meta-llama 开发者
18k
2.7k
78
+23
排名 #14
2月16日
查看详情

OpenBMB/UltraRAG

Python

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

deepseek demo easy
OpenBMB
OpenBMB 开发者
5.3k
377
52
+2.6k
排名 #13
2月22日
查看详情

kvcache-ai/Mooncake

C++

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

disaggregation inference kvcache
kvcache-ai
kvcache-ai 开发者
4.8k
558
115
+14
排名 #21
2月14日
查看详情

vllm-project/semantic-router

Go

面向混合模型的智能路由器。

ai-gateway bert-classification fine-tuning
vllm-project
vllm-project 开发者
3.1k
514
72
+479
排名 #8
1月31日
查看详情

mostlygeek/llama-swap

Go

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

golang llama llamacpp
mostlygeek
mostlygeek 开发者
2.4k
175
40
+79
排名 #19
2月8日
查看详情

vllm-project/vllm-ascend

C++

面向昇腾平台的vLLM社区维护硬件插件

ascend inference llm
vllm-project
vllm-project 开发者
1.7k
822
76
+25
排名 #20
2月10日
查看详情

SemiAnalysisAI/InferenceX

Python

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

ai amd benchmark
SemiAnalysisAI
SemiAnalysisAI 开发者
500
86
78
+6
排名 #6
2月18日
查看详情
助手