OpenVINO™是用于优化和部署AI推理的开源工具套件

GPT4All：在任何设备上运行本地大语言模型。开源且可商用。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

OpenAI Whisper模型的C/C++移植版本

面向直播与流媒体的跨平台可定制机器学习解决方案

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

机器学习张量库

NVIDIA® TensorRT™是用于NVIDIA GPU高性能深度学习推理的SDK，本仓库包含其开源组件

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

面向昇腾平台的vLLM社区维护硬件插件

🤘 TT-NN算子库与TT-Metalium底层内核编程模型

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

CowAgent是基于大语言模型的超级AI助理，具备主动思考与任务规划能力，能够访问操作系统和外部资源，创建并执行技能，拥有长期记忆并持续成长。它支持飞书、钉钉、企业微信应用、微信公众号及网页等多种接入方式，可选择OpenAI、Claude、Gemini、DeepSeek、Qwen、GLM、Kimi、LinkAI等模型，能处理文本、语音、图片和文件，可快速构建个人AI助手与企业数字员工。

免费、本地化、开源的 AI 应用构建工具 ✨ v0 版本 / 可替代 lovable 与 Bolt 的方案 🌟 如果喜欢请点星！

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

面向加速基础设施与微服务架构优化的生成式AI参考工作流

Model compression toolkit engineered for enhanced usability, comprehensiveness, and efficiency.