❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序，在微信中搜索 TrendForge Pro 即可使用小程序，如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️
NVIDIA/TensorRT-LLM
项目介绍
TensorRT-LLM为用户提供易用的Python API来定义大语言模型，并支持前沿优化以在NVIDIA GPU上高效执行推理。TensorRT-LLM还包含用于创建Python和C++运行时的组件，以高性能方式编排推理执行。
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
智能解读
智能标签
使用场景
项目健康度
从未记录更新时间
平台 Star TOP 6% · Forks 1,993
本周 +56 ⭐ · 本月 +239 ⭐
364 位贡献者 · 0 条平台评论
缺少 3 项内容
1 项改进建议
- 活跃度：项目已超过 999 天未更新，可能处于低维护状态
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
donnemartin/system-design-primer
学习如何设计大规模系统。为系统设计面试做准备。包含Anki记忆卡片。
vinta/awesome-python
精心整理的优质Python框架、库、软件及资源列表
TheAlgorithms/Python
所有算法均使用Python实现
Significant-Gravitas/AutoGPT
AutoGPT致力于实现人人可用的普惠AI，让每个人都能使用和构建AI。我们的使命是提供工具，让您专注于重要事务。
加载评论中...