#llm 每周趋势报告

在工具输出、日志、文件和RAG分块到达LLM之前对其进行压缩。减少60-95%的令牌，答案不变。提供库、代理、MCP服务器。

在工具输出、日志、文件和RAG分块到达LLM之前对其进行压缩。减少60-95%的令牌，答案不变。提供库、代理、MCP服务器。

为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具，零API费用。

为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具，零API费用。

开源医疗人工智能

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

面向 AI Copilot、AI 聊天机器人和应用内 AI 代理的 React UI 与优雅基础设施。智能体最后一公里解决方案

与任意大语言模型进行免提语音交互、语音打断，并支持跨平台本地运行的Live2D虚拟形象

流行聊天机器人系统提示词集合（含ChatGPT、Claude和Gemini等）

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

通过最快的KV缓存层为您的LLM加速

端到端语音识别基础工具包与开源SOTA预训练模型，支持语音识别、语音活动检测、文本后处理等功能。

🐙 提示工程指南、论文、讲座、笔记本及资源

用单个文件分发和运行大语言模型。

一个Unity MCP服务器，允许MCP客户端（如Claude Desktop或Cursor）执行Unity编辑器操作。

AgentScope Java：面向智能体编程的LLM应用构建框架

本仓库展示检索增强生成系统的多种先进技术，该系统通过结合信息检索与生成模型来提供精准且上下文丰富的响应

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

学习如何开发、部署并迭代生产级机器学习应用。

掌控你的AI。专为AI代理打造的原生macOS框架——支持任意模型、持久化记忆、自主执行与加密身份。基于Swift构建。完全离线运行。开源项目。

本仓库提供从基础到高级的各类生成式AI智能体技术教程与实现，是构建智能交互式AI系统的综合指南

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

《开源大模型食用指南》针对中国开发者定制的Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程

面向Claude Code的多触手协调器——整合Codex CLI与Gemini CLI，通过智能上下文路由实现并行任务执行

基于Flutter框架的LLM聊天客户端，支持Android、iOS及Harmony Next系统。

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

✍ 微信Markdown编辑器 | 一款高度简洁的微信Markdown编辑器：支持Markdown语法、自定义主题样式、内容管理、多图床、AI助手等特性

JVM代理框架，发音为Em-BAY-bel /ɛmˈbeɪbəl/

轻松将文档转换为结构化数据。Unstructured是开源的ETL解决方案，可将复杂文档转换为适合语言模型的整洁结构化格式。访问我们的网站了解企业级平台产品，支持生产级工作流、分区、增强、分块和嵌入。

🦍 云原生API网关与AI网关。

通用型AI，专为知识工作者——创作者、策略师与运营者——以及希望拥有真正可控AI系统以协助完成工作、并能灵活扩展部署至任意环境（VPC、本地或云端）的个人而设计。

为OpenAI/Anthropic/Gemini/Bedrock/OpenRouter/DeepSeek/Ollama/VertexAI/Perplexity/Mistral/GPUStack及OpenAI兼容API提供统一的Ruby接口。支持聊天、视觉、音频、PDF、图像、嵌入、工具、流式传输及Rails集成。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

最佳多智能体论文汇编

✨ AI 编程，Vim 风格

如何在CUDA中优化某些算法

编辑器代码助手——与编辑器无关的AI结对编程功能

LLM辅助代码/文本补全的Vim插件

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

cuVS - GPU向量搜索与聚类计算库