transformer

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

21堂课带你入门生成式AI开发

面向大语言模型的高吞吐量与内存优化型推理服务引擎

OpenAI Whisper模型的C/C++移植版本

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

最先进的网页端机器学习技术，直接在浏览器中运行🤗 Transformers模型，无需服务器支持

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

面向Dart与Flutter的强大HTTP客户端，支持全局设置、拦截器、FormData、请求中止/取消、文件上传下载、请求超时及自定义适配器等特性。

LAVIS——语言视觉智能一站式算法库

OpenVINO™是用于优化和部署AI推理的开源工具套件

面向语言模型的完全自动审查移除工具

一个基于苹果MLX框架构建的文本转语音、语音转文本及语音转语音库，可在Apple Silicon芯片上实现高效语音分析。

BLIP 模型的 PyTorch 实现：通过自举法实现语言-图像预训练，达成统一视觉-语言理解与生成

适用于Apple Silicon设备的本地语音识别

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

Hugging Face transformers 课程

面向混合模型的智能路由器。

[ICLR 26] Stable Video Infinity：基于错误回收的无限长度视频生成

面向昇腾平台的vLLM社区维护硬件插件

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理