#llm 每月趋势报告

为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具，零API费用。

为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具，零API费用。

以教学为目的的图表，而非追求视觉震撼。将任意代码转化为可探索、可搜索、可提问的交互式知识图谱，兼容Claude Code、Codex、Cursor、Copilot、Gemini CLI等工具。

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

为AI智能体设计的754项结构化网络安全技能，映射至五大框架：MITRE ATT&CK、NIST CSF 2.0、MITRE ATLAS、D3FEND及NIST AI RMF，遵循agentskills.io标准，兼容Claude Code、GitHub Copilot、Codex CLI、Cursor、Gemini CLI及20余个平台，覆盖26个安全领域，采用Apache 2.0许可。

为AI智能体设计的754项结构化网络安全技能，映射至五大框架：MITRE ATT&CK、NIST CSF 2.0、MITRE ATLAS、D3FEND及NIST AI RMF，遵循agentskills.io标准，兼容Claude Code、GitHub Copilot、Codex CLI、Cursor、Gemini CLI及20余个平台，覆盖26个安全领域，采用Apache 2.0许可。

面向终端的DeepSeek原生AI编程助手。围绕前缀缓存稳定性设计——保持其持续运行。

流行聊天机器人系统提示词集合（含ChatGPT、Claude和Gemini等）

流行聊天机器人系统提示词集合（含ChatGPT、Claude和Gemini等）

⌥ 终端AI编程代理——基于哈希锚定的编辑、优化的工具集、LSP、Python、浏览器、子代理等

⌥ 终端AI编程代理——基于哈希锚定的编辑、优化的工具集、LSP、Python、浏览器、子代理等

与任意大语言模型进行免提语音交互、语音打断，并支持跨平台本地运行的Live2D虚拟形象

面向 AI Copilot、AI 聊天机器人和应用内 AI 代理的 React UI 与优雅基础设施。智能体最后一公里解决方案

使用单张4GB GPU实现AirLLM 70B推理

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

一款轻量级、极速的进程内向量数据库

一款轻量级、极速的进程内向量数据库

端到端语音识别基础工具包与开源SOTA预训练模型，支持语音识别、语音活动检测、文本后处理等功能。

基于大语言模型的深度文档理解框架，支持使用 RAG 范式实现语义检索和上下文感知应答。

通过最快的KV缓存层为您的LLM加速

18个AI角色在多个大语言模型提供商之间为你权衡最艰难的决策。亚里士多德、费曼、卡尼曼、托瓦兹等——具备真正模型多样性的结构化多轮讨论。一条命令：/council

Eagle：采用数据驱动策略的前沿视觉语言模型

一个汇集生成式人工智能研究动态、面试资源、代码笔记本等丰富内容的一站式资源库！

🐙 提示工程指南、论文、讲座、笔记本及资源

一个Unity MCP服务器，允许MCP客户端（如Claude Desktop或Cursor）执行Unity编辑器操作。

掌控你的AI。专为AI代理打造的原生macOS框架——支持任意模型、持久化记忆、自主执行与加密身份。基于Swift构建。完全离线运行。开源项目。

RikkaHub是一款支持多种LLM提供商的Android应用

AgentScope Java：面向智能体编程的LLM应用构建框架

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

学习如何开发、部署并迭代生产级机器学习应用。

将您的PC、Mac或Linux设备转变为AI服务器，支持LLM推理、聊天界面、语音、智能体、工作流、RAG及图像生成。

用单个文件分发和运行大语言模型。

Milvus是专为可扩展向量近似最近邻搜索打造的高性能云原生向量数据库

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

基于Flutter框架的LLM聊天客户端，支持Android、iOS及Harmony Next系统。

快速轻松地将尖端LLM技术集成到您的应用中。

🦍 云原生API网关与AI网关。

为OpenAI/Anthropic/Gemini/Bedrock/OpenRouter/DeepSeek/Ollama/VertexAI/Perplexity/Mistral/GPUStack及OpenAI兼容API提供统一的Ruby接口。支持聊天、视觉、音频、PDF、图像、嵌入、工具、流式传输及Rails集成。

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

快速灵活的LLM推理

SeaTunnel是多模态、高性能、分布式海量数据集成工具

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

🤘 TT-NN算子库与TT-Metalium底层内核编程模型

最佳多智能体论文汇编

如何在CUDA中优化某些算法

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

LLM辅助代码/文本补全的Vim插件

cuVS - 一个用于GPU上的向量搜索与聚类的库

Awesome Claude 目录：智能体、MCP 服务器、技能、钩子、命令、工具、指南及 AI 工作流资源。

用于查询AI服务提供商请求的插件。

Lux是由Spectral Labs开发的开源框架，用于构建多智能体集群智能系统。通过Beams、Prisms、Lenses和Signals等组件，它编排AI驱动的工作流，以创建真正自主的组织。

🪢 Langfuse 文档 —— Langfuse 是开源的 LLM 工程平台。提供可观测性、评估、提示词管理、游乐场和指标功能，用于调试和改进 LLM 应用