moe

话题找到数量

vllm-project/vllm

Python

面向大语言模型的高吞吐量与内存优化型推理服务引擎

amd blackwell cuda
vllm-project
vllm-project 开发者
71k
13k
272
+182
排名 #11
3月4日
查看详情

hiyouga/LlamaFactory

Python

百款大语言模型与视觉语言模型的统一高效微调框架（ACL 2024）

agent ai deepseek
hiyouga
hiyouga 开发者
67k
8.2k
214
+52
排名 #6
2月27日
查看详情

sgl-project/sglang

Python

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

attention blackwell cuda
sgl-project
sgl-project 开发者
23k
4.3k
307
+128
排名 #9
2月6日
查看详情

modelscope/ms-swift

Python

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

deepseek-r1 embedding grpo
modelscope
modelscope 开发者
12k
1.2k
139
+26
排名 #9
2月27日
查看详情

flashinfer-ai/flashinfer

Python

FlashInfer：大语言模型服务的核心计算库

attention cuda distributed-inference
flashinfer-ai
flashinfer-ai 开发者
4.8k
670
248
+14
排名 #7
1月27日
查看详情
助手