项目简介
通过Python、Android Java和iOS Swift绑定,在GPU、NPU和CPU上运行最新的LLM和VLM模型,快速部署OpenAI gpt-oss、Gemma 3、Qwen3等主流模型。
Run frontier LLMs and VLMs with day-0 model support across GPU, NPU, and CPU, with comprehensive runtime coverage for PC (Python/C++), mobile (Android & iOS), and Linux/IoT (Arm64 & x86 Docker). Supporting OpenAI GPT-OSS, IBM Granite-4, Qwen-3-VL, Gemma-3n, Ministral-3, and more.
智能解读
智能标签
使用场景
项目健康度
综合活跃度、人气、增长、社区、文档评估
项目信息
赞赏支持
如果本站对你有帮助,欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
avelino/awesome-go
一份精选的Go语言优秀框架、库及软件列表
ollama/ollama
开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。
golang/go
Go 编程语言
kubernetes/kubernetes
生产级容器调度与管理平台
fatedier/frp
一款快速反向代理,可帮助您将NAT或防火墙后的本地服务器暴露至互联网。
gin-gonic/gin
Gin 是一个用 Go (Golang) 编写的 HTTP Web 框架。它提供了类似 Martini 的 API,但性能更优——速度提升高达 40 倍。如果您需要出色的性能,请使用 Gin。
加载评论中...