项目简介
最快的LLM网关,性能超越LiteLLM达50倍,具备自适应负载均衡器、集群模式、防护机制,支持1000多种模型,在5k RPS下延迟低于100微秒
Fastest enterprise AI gateway (50x faster than LiteLLM) with adaptive load balancer, cluster mode, guardrails, 1000+ models support & <100 µs overhead at 5k RPS.
智能解读
原始标签
智能标签
使用场景
项目健康度
综合活跃度、人气、增长、社区、文档评估
项目信息
赞赏支持
如果本站对你有帮助,欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
avelino/awesome-go
一份精选的Go语言优秀框架、库及软件列表
ollama/ollama
开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。
golang/go
Go 编程语言
kubernetes/kubernetes
生产级容器调度与管理平台
fatedier/frp
一款快速反向代理,可帮助您将NAT或防火墙后的本地服务器暴露至互联网。
gin-gonic/gin
Gin 是一个用 Go (Golang) 编写的 HTTP Web 框架。它提供了类似 Martini 的 API,但性能更优——速度提升高达 40 倍。如果您需要出色的性能,请使用 Gin。
加载评论中...