model-router

一个集成了防护机制的极速AI网关，通过一个快速友好的API路由至200多个大型语言模型和50多个AI防护机制。

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

面向智能体系统的模型路由器。在50毫秒内将每个提示路由至正确模型，仅需更改端点即可降低40-70%成本。