❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序，在微信中搜索 TrendForge Pro 即可使用小程序，如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️
mostlygeek/llama-swap
项目介绍
llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换
Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc
智能解读
llama-swap 是一个用 Go 语言编写的高性能工具，旨在管理运行在本地的生成式 AI 模型。它充当一个智能代理服务器，能够无缝连接并热切换多个兼容 OpenAI API 的本地推理服务，例如 llama.cpp、vLLM 或 TabbyAPI。用户只需一个可执行文件和配置文件即可快速部署，无需复杂依赖。 其核心价值在于实现了“模型即服务”的灵活管理。用户可以预先配置好多个不同用途的模型，在实际调用时，只需在请求中指定目标模型名称，llama-swap 便会自动将请求路由到对应的后端服务，并支持按需加载和卸载模型以节省资源。这极大地简化了在单台机器上构建多模型AI工作流的复杂度，适用于开发测试、研究实验或需要灵活切换不同AI能力的本地应用场景。
使用场景
llama-swap最适合需要在单台机器上灵活管理多个本地AI模型，实现按需切换、资源优化和统一API访问的开发者或团队。
多模型灵活切换
开发者需要在本机运行多个不同用途的AI模型（如聊天、代码补全、图像生成），但手动切换或同时启动多个服务非常繁琐且资源浪费。
通过llama-swap配置多个模型后端，请求时指定模型名即可自动路由到对应服务，并支持按需加载和超时卸载，节省内存。
配置一个llama.cpp聊天模型和一个stable-diffusion图像模型，在同一个API端口上通过`model`参数切换使用，无需重启服务。
本地AI开发测试
开发者在本地测试AI应用时，需要频繁更换不同模型或版本（如从vLLM切换到TabbyAPI），但每次修改后端配置和重启服务很耗时。
llama-swap作为统一代理，只需修改配置文件即可热切换后端推理服务器，无需改动应用代码或重启进程。
在开发环境配置多个llama.cpp实例（不同量化版本），通过`/ui`界面或API动态切换测试模型效果，快速迭代。
资源受限环境部署
在单台GPU服务器上，多个模型同时加载会耗尽显存，但用户又需要按需提供不同AI能力（如文本生成、嵌入、语音合成）。
利用llama-swap的`ttl`（生存时间）和`hooks`功能，自动卸载闲置模型，并在请求时按需加载，最大化利用有限硬件资源。
部署一个8GB显存的机器，配置聊天模型（ttl=5分钟）和嵌入模型（ttl=1分钟），当无请求时自动卸载，节省显存。
统一API网关管理
团队使用多个不同的本地推理服务（如llama.cpp、vLLM、stable-diffusion），每个服务有独立端口和API Key，管理混乱且不安全。
llama-swap提供统一OpenAI兼容API入口，支持API Key认证和路由控制，所有服务通过单一端口暴露，简化安全管理和调用。
配置多个模型组（Groups），为每个组分配不同API Key，前端应用只需连接一个端点，即可访问所有模型，且通过key限制访问权限。
项目健康度
距上次更新 9 天
平台 Star TOP 13% · Forks 366
本周 +198 ⭐ · 本月 +622 ⭐
33 位贡献者 · 0 条平台评论
文档资料完整
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
加载评论中...