项目竞品
共找到 20 个竞品vllm-project/vllm
面向大语言模型的高吞吐量与内存优化型推理服务引擎
sgl-project/sglang
SGLang是面向大语言模型与视觉语言模型的高速推理框架。
Lightricks/LTX-Video
LTX-Video 官方代码库
AIDC-AI/Pixelle-Video
🚀 AI 全自动短视频引擎 | AI Fully Automated Short Video Engine
HKUDS/ViMax
ViMax:全能型智能体视频生成系统(集成导演、编剧、制片与视频生成功能)
RunanywhereAI/runanywhere-sdks
可在本地运行AI的生产就绪工具包
openvinotoolkit/openvino
OpenVINO™是用于优化和部署AI推理的开源工具套件
ggml-org/whisper.cpp
OpenAI Whisper模型的C/C++移植版本
google-ai-edge/mediapipe
面向直播与流媒体的跨平台可定制机器学习解决方案
NVIDIA/TensorRT
NVIDIA® TensorRT™是用于NVIDIA GPU高性能深度学习推理的SDK,本仓库包含其开源组件
duixcom/Duix-Avatar
🚀 真正开源的 AI 数字人工具包,支持离线视频生成与数字人克隆
argmaxinc/WhisperKit
适用于Apple Silicon设备的本地语音识别
kvcache-ai/Mooncake
Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。
thu-ml/SageAttention
量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升,且在语言、图像和视频模型上保持端到端指标无损。
zml/zml
任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建
openvinotoolkit/openvino_notebooks
📚 OpenVINO™ 的 Jupyter Notebook 教程
vllm-project/vllm-ascend
面向昇腾平台的vLLM社区维护硬件插件
jd-opensource/xllm
专为多种AI加速器优化的大语言模型高性能推理引擎。
alibaba/rtp-llm
RTP-LLM:阿里巴巴面向多样化应用的高性能大语言模型推理引擎。
thu-ml/SpargeAttn
SpargeAttention:一种免训练的稀疏注意力机制,可加速任何模型推理
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
donnemartin/system-design-primer
学习如何设计大规模系统。为系统设计面试做准备。包含Anki记忆卡片。
vinta/awesome-python
精心整理的优质Python框架、库、软件及资源列表
TheAlgorithms/Python
所有算法均使用Python实现
Significant-Gravitas/AutoGPT
AutoGPT致力于实现人人可用的普惠AI,让每个人都能使用和构建AI。我们的使命是提供工具,让您专注于重要事务。