#gpt 每日趋势报告

使用单张4GB GPU实现AirLLM 70B推理

🐙 提示工程指南、论文、讲座、笔记本及资源

ConardLi 的开源技能合集，涵盖网页设计、知识检索、图像生成等。

LLM API 管理与分发系统，支持 OpenAI、Azure、Anthropic Claude、Google Gemini、DeepSeek、字节豆包、ChatGLM、文心一言、讯飞星火、通义千问、360 智脑、腾讯混元等主流模型，统一 API 适配，可用于密钥管理与二次分发。单可执行文件，提供 Docker 镜像，一键部署，开箱即用。

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

远程MCP服务器能够安全地将Jira和Confluence与您选择的LLM、IDE或智能体平台相连接。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

为OpenAI/Anthropic/Gemini/Bedrock/OpenRouter/DeepSeek/Ollama/VertexAI/Perplexity/Mistral/GPUStack及OpenAI兼容API提供统一的Ruby接口。支持聊天、视觉、音频、PDF、图像、嵌入、工具、流式传输及Rails集成。

Zig推理引擎 — 在AMD GPU和Apple Silicon上运行本地大语言模型推理