gemm

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

百款大语言模型与视觉语言模型的统一高效微调框架（ACL 2024）

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

《开源大模型食用指南》针对中国开发者定制的Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程

📚LeetCUDA：面向初学者的现代CUDA学习笔记（基于PyTorch）🐑，包含200+个CUDA内核、张量核心、HGEMM、FA-2 MMA。🎉

一套关于前沿计算机视觉模型与技术的教程合集，涵盖从ResNet等基础架构到YOLO11、RT-DETR、SAM 2、Florence-2、PaliGemma 2和Qwen2.5VL等尖端模型的全方位探索。

只需几行代码，即可在骁龙设备的NPU、GPU和CPU上本地运行前沿LLM和VLM模型

运行前沿LLM和VLM，支持GPU、NPU和CPU的发布当日模型适配，覆盖PC（Python/C++）、移动端（Android和iOS）及Linux/IoT（Arm64和x86 Docker）的完整运行时环境。支持OpenAI GPT-OSS、IBM Granite-4、Qwen-3-VL、Gemma-3n、Ministral-3等模型。

通过Python、Android Java和iOS Swift绑定，在GPU、NPU和CPU上运行最新的LLM和VLM模型，快速部署OpenAI gpt-oss、Gemma 3、Qwen3等主流模型。

基于OpenAI API、Ollama、Deepseek-r1、Azure及所有OpenAI API兼容服务的自动化文档分析工具，用于自动分析与标记Paperless-ngx中的文档。

MLX-VLM：基于MLX在Mac上进行视觉语言模型推理与微调的工具包

面向Transformer模型的快速推理引擎

谷歌Gemma开放模型指南与示例合集。

可在极小设备上运行的2600万参数函数调用模型

谷歌Gemma开放模型的指南与示例合集

设备端实时多模态AI。与完全运行在您本机上的AI进行自然的语音和视觉对话，由Gemma 4 E2B和Kokoro驱动。

口袋里的OpenClaw替代方案

安卓本地人工智能助手

专为大语言模型/视觉语言模型设计的PyTorch分布式原生训练库，开箱即用支持Hugging Face

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。

已弃用，代码已迁移至 ROCm/rocm-libraries 仓库