on-device-ai

可在本地运行AI的生产就绪工具包

只需几行代码，即可在骁龙设备的NPU、GPU和CPU上本地运行前沿LLM和VLM模型

运行前沿LLM和VLM，支持GPU、NPU和CPU的发布当日模型适配，覆盖PC（Python/C++）、移动端（Android和iOS）及Linux/IoT（Arm64和x86 Docker）的完整运行时环境。支持OpenAI GPT-OSS、IBM Granite-4、Qwen-3-VL、Gemma-3n、Ministral-3等模型。

通过Python、Android Java和iOS Swift绑定，在GPU、NPU和CPU上运行最新的LLM和VLM模型，快速部署OpenAI gpt-oss、Gemma 3、Qwen3等主流模型。

可在本地运行AI的生产就绪工具包

LiteRT-LM 是谷歌推出的生产级、高性能、开源推理框架，用于在边缘设备上部署大型语言模型。

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

由您掌控的人工智能：自主选择模型，完全拥有数据，彻底消除供应商锁定。

可在极小设备上运行的2600万参数函数调用模型

设备端实时多模态AI。与完全运行在您本机上的AI进行自然的语音和视觉对话，由Gemma 4 E2B和Kokoro驱动。

安卓端设备本地人工智能——支持大语言模型聊天、视觉语言模型、图像生成、工具调用、AI角色扮演、检索增强生成知识包、文本转语音与语音转文本。完全离线运行，无需订阅，开源免费。