❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序，在微信中搜索 TrendForge Pro 即可使用小程序，如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️

vllm

话题找到数量

modelscope/FunASR

Python

端到端语音识别基础工具包与开源SOTA预训练模型，支持语音识别、语音活动检测、文本后处理等功能。

asr audio chinese
modelscope
modelscope 开发者
18k
1.9k
584
+2.1k
排名 #19
6月30日
查看详情

meta-llama/llama-cookbook

Jupyter Notebook

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

ai finetuning langchain
meta-llama
meta-llama 开发者
18k
2.7k
542
+23
排名 #14
2月16日
查看详情

LMCache/LMCache

Python

通过最快的KV缓存层为您的LLM加速

amd cuda fast
LMCache
LMCache 开发者
10k
1.5k
407
+1.6k
排名 #15
7月10日
查看详情

ai-dynamo/dynamo

Rust

数据中心级分布式推理服务框架

diffusion disaggregated-serving kubernetes
ai-dynamo
ai-dynamo 开发者
7.5k
1.3k
578
+12
排名 #15
7月14日
查看详情

Orchestra-Research/AI-Research-SKILLs

TeX

面向任意AI模型的综合性开源人工智能研究与工程技能库。

ai ai-research claude
Orchestra-Research
Orchestra-Research 开发者
6.2k
485
394
+1.8k
排名 #11
4月5日
查看详情

kvcache-ai/Mooncake

C++

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

disaggregation inference kvcache
kvcache-ai
kvcache-ai 开发者
5.7k
909
541
+233
排名 #21
6月30日
查看详情

kserve/kserve

Go

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

artificial-intelligence cncf genai
kserve
kserve 开发者
5.7k
1.6k
519
+8
排名 #19
7月14日
查看详情

OpenBMB/UltraRAG

Python

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

deepseek demo easy
OpenBMB
OpenBMB 开发者
5.4k
387
420
+2.6k
排名 #13
3月3日
查看详情

vllm-project/semantic-router

Go

面向混合模型的智能路由器。

ai-gateway bert-classification fine-tuning
vllm-project
vllm-project 开发者
5k
754
583
+479
排名 #15
7月14日
查看详情

mostlygeek/llama-swap

Go

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

golang llama llamacpp
mostlygeek
mostlygeek 开发者
4.9k
366
436
+779
排名 #21
7月6日
查看详情

vllm-project/vllm-ascend

C++

面向昇腾平台的vLLM社区维护硬件插件

ascend inference llm
vllm-project
vllm-project 开发者
2.5k
1.7k
782
+130
排名 #21
7月12日
查看详情

vllm-project/vllm-ascend

Python

面向昇腾平台的vLLM社区维护硬件插件

ascend inference llm
vllm-project
vllm-project 开发者
2.1k
1.2k
782
+31
排名 #11
5月10日
查看详情

SemiAnalysisAI/InferenceX

Shell

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

ai amd benchmark
SemiAnalysisAI
SemiAnalysisAI 开发者
1.1k
202
483
+11
排名 #8
6月17日
查看详情

SemiAnalysisAI/InferenceX

Python

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

ai amd benchmark
SemiAnalysisAI
SemiAnalysisAI 开发者
1k
176
483
+6
排名 #10
5月28日
查看详情
助手