项目竞品项目
LMCache/LMCache
通过最快的KV缓存层为您的LLM加速
sgl-project/sglang
SGLang是面向大语言模型与视觉语言模型的高速推理框架。
RunanywhereAI/runanywhere-sdks
可在本地运行AI的生产就绪工具包
vllm-project/vllm
面向大语言模型的高吞吐量与内存优化型推理服务引擎
meta-llama/llama-cookbook
欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署
OpenBMB/UltraRAG
UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架
相关项目推荐
tensorflow/tensorflow
面向所有人的开源机器学习框架
facebook/react-native
一个使用React构建原生应用程序的框架
electron/electron
使用 JavaScript、HTML 和 CSS 构建跨平台桌面应用程序
godotengine/godot
Godot引擎——跨平台2D与3D游戏引擎
ggml-org/llama.cpp
使用 C/C++ 实现的大语言模型推理框架
microsoft/terminal
全新Windows Terminal与经典Windows控制台主机，集于一处！