#llm 每日趋势报告

基于 AI 智能体和 RAG 技术的精选 LLM 应用集合，支持 OpenAI、Anthropic、Gemini 及开源模型

开箱即用的 AI 标书编写工具，AI 标书生成工具，投标工具箱、知识库、标书查重、废标项检查，完全开源免费，欢迎使用

Bonsai 演示

Bonsai 演示

使用单张4GB GPU实现AirLLM 70B推理

学习它。构建它。为他人交付它。

🐙 提示工程指南、论文、讲座、笔记本及资源

面向Claude Code的本地知识图谱。构建代码库的持久化映射，使Claude仅读取关键内容——代码审查时减少6.8倍的令牌消耗，日常编码任务中最高可减少49倍。

面向Claude Code的本地知识图谱。构建代码库的持久化映射，使Claude仅读取关键内容——代码审查时减少6.8倍的令牌消耗，日常编码任务中最高可减少49倍。

screenpipe将您的电脑转变为个人AI助手，它能知晓您的一切操作。记录、搜索、自动化，全部本地运行，完全私密，尽在您掌控。

Hermes Agent 的 Web 仪表盘——支持多平台 AI 对话、会话管理、定时任务及使用分析。

本代码库提供端到端的代码优先教程，涵盖生产级生成式AI智能体的每个层级，通过经过验证的模式和可复用的蓝图，指导您从创意火花到规模化部署，助力实际应用落地。

本仓库提供从基础到高级的各类生成式AI智能体技术教程与实现，是构建智能交互式AI系统的综合指南

面向高级用户的大语言模型前端

基于大语言模型的深度文档理解框架，支持使用 RAG 范式实现语义检索和上下文感知应答。

为AI智能体提供记忆层。用无服务器、单文件记忆层替代复杂的RAG流程，赋予智能体即时检索与长期记忆能力。

本仓库展示检索增强生成系统的多种先进技术，该系统通过结合信息检索与生成模型来提供精准且上下文丰富的响应

AgentScope Java：面向智能体编程的LLM应用构建框架

Android平台最强大的人工智能助手与AI聊天软件

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

Google Cloud生成式AI示例代码与笔记本，含Vertex AI平台的Gemini模型应用。

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

编码智能体框架

数据中心级分布式推理服务框架

OpenVINO™是用于优化和部署AI推理的开源工具套件

🦍 云原生API网关与AI网关。

为提示工程增添工程化能力的AI框架（兼容Python/TS/Ruby/Java/C#/Rust/Go）

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

远程MCP服务器能够安全地将Jira和Confluence与您选择的LLM、IDE或智能体平台相连接。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

企业级、商业友好的智能体工作流平台，用于构建下一代超级智能体。

🪢 Langfuse 文档 —— Langfuse 是开源的 LLM 工程平台。提供可观测性、评估、提示词管理、游乐场和指标功能，用于调试和改进 LLM 应用

InternRobotics 用于构建通用导航基础模型的开源平台

顶尖自然语言处理技术

cuVS - 一个用于GPU上的向量搜索与聚类的库

RAFT 包含用于机器学习和信息检索的基础性、广泛使用的算法与原语。这些算法经过 CUDA 加速，构成了更轻松编写高性能应用程序的构建模块。