项目竞品项目
SemiAnalysisAI/InferenceX
开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3
sgl-project/sglang
SGLang是面向大语言模型与视觉语言模型的高速推理框架。
NVIDIA/warp
一个用于加速仿真、数据生成和空间计算的 Python 框架。
kserve/kserve
面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台
LMCache/LMCache
通过最快的KV缓存层为您的LLM加速
vllm-project/vllm
面向大语言模型的高吞吐量与内存优化型推理服务引擎
isl-org/Open3D
Open3D：面向三维数据处理的现代算法库
dusty-nv/jetson-containers
适用于NVIDIA Jetson和JetPack-L4T的机器学习容器
NVIDIA/cutlass
线性代数子程序的CUDA模板
NVIDIA/nccl
面向集体多GPU通信的优化原语
thu-ml/SageAttention
量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。
NVIDIA/cccl
CUDA核心计算库
rapidsai/cugraph
cuGraph - RAPIDS 图分析库
NVIDIA/cub
[已归档] CUDA C++协同原语 参见https://github.com/NVIDIA/cccl
NVIDIA/nvbench
CUDA内核基准测试库
tracel-ai/burn
Burn是下一代深度学习框架，在灵活性、效率和可移植性方面毫不妥协。
replicate/cog
机器学习容器
iree-org/iree
一个基于MLIR的可重定向机器学习编译器与运行时工具包。
fastai/fastai
fastai深度学习库
kubeflow/trainer
基于Kubernetes的分布式AI模型训练与微调
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
donnemartin/system-design-primer
学习如何设计大规模系统。为系统设计面试做准备。包含Anki记忆卡片。
vinta/awesome-python
精心整理的优质Python框架、库、软件及资源列表
TheAlgorithms/Python
所有算法均使用Python实现
Significant-Gravitas/AutoGPT
AutoGPT致力于实现人人可用的普惠AI，让每个人都能使用和构建AI。我们的使命是提供工具，让您专注于重要事务。