面向大语言模型的高吞吐量与内存优化型推理服务引擎

轻松微调、评估和部署gpt-oss、Qwen3、DeepSeek-R1或任何开源LLM/VLM！

可在本地运行AI的生产就绪工具包

通过最快的KV缓存层为您的LLM加速

毕昇是面向新一代企业AI应用的开源大语言模型运维平台，提供强大全面的功能：GenAI工作流、RAG、智能体、统一模型管理、评估监督、监督微调、数据集管理、企业级系统管理、可观测性等

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

构建、管理与部署人工智能及机器学习系统

Evidently 是开源的机器学习和大语言模型可观测性框架。评估、测试并监控任何AI驱动系统或数据流水线。从表格数据到生成式AI，涵盖100多项指标。

⚙️🦀 用 Rust 构建模块化、可扩展的 LLM 应用程序

通过Python、Android Java和iOS Swift绑定，在GPU、NPU和CPU上运行最新的LLM和VLM模型，快速部署OpenAI gpt-oss、Gemma 3、Qwen3等主流模型。

LangChain的Java实现版本

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

一个集成了防护机制的极速AI网关，通过一个快速友好的API路由至200多个大型语言模型和50多个AI防护机制。

程序员鱼皮的 AI 资源大全与 Vibe Coding 零基础教程，提供大模型选择指南、最新 AI 资讯、Prompt 提示词大全、AI 知识百科、AI 编程教程、AI 工具使用指南、AI 开发框架教程以及 AI 产品变现指南，助你快速掌握 AI 技术，保持行业领先。本项目为开源文档版本，已升级为鱼皮 AI 导航网站。

视觉化解读 Transformer：通过交互式可视化学习 LLM Transformer 模型工作原理

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

使用单张4GB GPU实现AirLLM 70B推理

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练