OpenVINO™是用于优化和部署AI推理的开源工具套件

面向加速基础设施与微服务架构优化的生成式AI参考工作流

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

Context-Engine MCP - 智能上下文压缩套件

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

专注于隐私的AI会议笔记工具，采用本地托管的小型语言模型驱动。用于生成结构化临床笔记的StenoAI Med版本即将推出。

Model compression toolkit engineered for enhanced usability, comprehensiveness, and efficiency.

百款大语言模型与视觉语言模型的统一高效微调框架（ACL 2024）

面向大语言模型的高吞吐量与内存优化型推理服务引擎

免费、本地化、开源的 AI 应用构建工具 ✨ v0 版本 / 可替代 lovable 与 Bolt 的方案 🌟 如果喜欢请点星！

专为大语言模型/视觉语言模型设计的PyTorch分布式原生训练库，开箱即用支持Hugging Face

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

CowAgent是基于大语言模型的超级AI助理，具备主动思考与任务规划能力，能够访问操作系统和外部资源，创建并执行技能，拥有长期记忆并持续成长。它支持飞书、钉钉、企业微信应用、微信公众号及网页等多种接入方式，可选择OpenAI、Claude、Gemini、DeepSeek、Qwen、GLM、Kimi、LinkAI等模型，能处理文本、语音、图片和文件，可快速构建个人AI助手与企业数字员工。

FastGPT是基于大语言模型构建的知识平台，提供数据处理、RAG检索和可视化AI工作流编排等开箱即用的完整功能，让您无需繁琐设置即可轻松开发和部署复杂问答系统。