inference

暂无项目描述

面向昇腾平台的vLLM社区维护硬件插件

基于Envoy Gateway构建的生成式AI服务统一访问管理平台

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

面向使用LaTeX/Beamer与R的学术工作者可即时复用的Claude代码模板，包含多智能体审阅、质量门控、对抗性质量检查及复现协议。

专为多种AI加速器优化的大语言模型高性能推理引擎。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

Home for "How To Scale Your Model", a short blog-style textbook about scaling LLMs on TPUs

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

开源网络管理与可观测性平台

安卓本地人工智能助手

Context-Engine MCP - 智能上下文压缩套件

llm-d Router：推理请求的智能入口点

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。