❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序,在微信中搜索 TrendForge Pro 即可使用小程序,如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️

inference-server

话题找到数量

jundot/omlx

专为Apple Silicon打造的LLM推理服务器,具备连续批处理和SSD缓存功能,可通过macOS菜单栏管理

13k
1.2k
182
+440
排名 #11
5月12日
查看详情

Michael-A-Kuykendall/shimmy

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费,永远免费。

5.3k
486
110
+444
排名 #16
5月24日
查看详情

NVIDIA/GenerativeAIExamples

面向加速基础设施与微服务架构优化的生成式AI参考工作流

4k
1.1k
361
+30
排名 #17
5月13日
查看详情
助手