❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序,在微信中搜索 TrendForge Pro 即可使用小程序,如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️

inference-server

话题找到数量

jundot/omlx

专为Apple Silicon打造的LLM推理服务器,具备连续批处理和SSD缓存功能,可通过macOS菜单栏管理

16k
1.4k
391
+440
排名 #13
6月5日
查看详情

Michael-A-Kuykendall/shimmy

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费,永远免费。

5.6k
533
304
+444
排名 #17
6月29日
查看详情

NVIDIA/GenerativeAIExamples

面向加速基础设施与微服务架构优化的生成式AI参考工作流

4k
1.1k
586
+30
排名 #17
5月13日
查看详情
助手