❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序，在微信中搜索 TrendForge Pro 即可使用小程序，如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️
ztxz16/fastllm
项目介绍
fastllm 是零后端依赖的高性能大模型推理库，支持张量并行推理稠密模型与混合模式推理 MOE 模型，任意 10G 以上显存显卡即可完整推理 DeepSeek 模型。在双路 9004/9005 服务器搭配单显卡部署完整精度原版 DeepSeek 模型时，单并发达 20tps；INT4 量化模型单并发 30tps，多并发可达 60+tps。
fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模型和混合模式推理MOE模型，任意10G以上显卡即可推理满血DeepSeek。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型，单并发20tps；INT4量化模型单并发30tps，多并发可达60+。
智能解读
智能标签
使用场景
项目健康度
距上次更新 14 天
平台 Star TOP 13% · Forks 461
本周 +136 ⭐ · 本月 +544 ⭐
48 位贡献者 · 0 条平台评论
缺少 4 项内容
1 项改进建议
- 文档：完善项目文档（截图、AI 分析等）可提升健康度得分
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
tensorflow/tensorflow
面向所有人的开源机器学习框架
facebook/react-native
一个使用React构建原生应用程序的框架
electron/electron
使用 JavaScript、HTML 和 CSS 构建跨平台桌面应用程序
ggml-org/llama.cpp
使用 C/C++ 实现的大语言模型推理框架
godotengine/godot
Godot引擎——跨平台2D与3D游戏引擎
microsoft/terminal
全新Windows Terminal与经典Windows控制台主机，集于一处！
加载评论中...