#llm 每日趋势报告

可在本地运行AI的生产就绪工具包

⚡️ GenBI（生成式商业智能）支持使用自然语言查询任意数据库，可在数秒内生成精准的SQL（文本转SQL）、图表（文本转图表）及基于人工智能的深度洞察。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

又名Awesome ChatGPT提示词库。分享、发现并收集来自社区的提示词。免费开源——为您的组织提供完全隐私的自托管服务。

一款提示词优化工具，致力于协助编写高质量提示词

内置RAG、AI智能体、无代码智能体构建器、MCP兼容等功能的桌面与Docker一体化AI应用

一款提示词优化工具，致力于协助编写高质量提示词

PentestAgent 是一个用于黑盒安全测试的 AI 智能体框架，支持漏洞赏金、红队行动和渗透测试工作流程。

🐙 提示工程指南、论文、讲座、笔记本及资源

本仓库提供从基础到高级的各类生成式AI智能体技术教程与实现，是构建智能交互式AI系统的综合指南

为AI智能体提供记忆层。用无服务器、单文件记忆层替代复杂的RAG流程，赋予智能体即时检索与长期记忆能力。

一个Unity MCP服务器，允许MCP客户端（如Claude Desktop或Cursor）执行Unity编辑器操作。

基于大语言模型的深度文档理解框架，支持使用 RAG 范式实现语义检索和上下文感知应答。

一款免费开源、基于人工智能的自托管实时会议记录与纪要生成工具，可完全在本地设备运行（已支持Mac OS和Windows系统，即将新增Linux支持）https://meetily.zackriya.com/ 这就是meetly ai

AgentScope Java：面向智能体编程的LLM应用构建框架

O'Reilly书籍《动手玩转大语言模型》官方代码库

主要记录大语言模型算法工程师相关的知识及面试题

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

⚙️🦀 用 Rust 构建模块化、可扩展的 LLM 应用程序

为企业级智能体提供包含真实工具的开源安全环境。

https://adongwanai.github.io/AgentGuide | AI智能体开发指南 | LangGraph实战 | 高级RAG | 转型大模型 | 大模型面试 | 算法工程师 | 面试题库 | 强化学习 | 数据合成

基于Flutter框架的LLM聊天客户端，支持Android、iOS及Harmony Next系统。

通过模型上下文协议将大型语言模型与高级AI智能体连接至Unity编辑器的AI桥梁。可直接在项目中与AI对话生成代码、调试错误并自动化游戏开发任务

OpenVINO™是用于优化和部署AI推理的开源工具套件

面向昇腾平台的vLLM社区维护硬件插件

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

如何在CUDA中优化某些算法

LLM辅助代码/文本补全的Vim插件

官方 Microsoft Learn MCP 服务器——通过实时、可信的微软文档与代码示例为大型语言模型和人工智能代理提供支持。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。