#llm 每日趋势报告

开源医疗人工智能

开源医疗人工智能

🪨 能用少量token解决问题时何必用大量token——通过像穴居人一样说话来削减65%token的Claude Code技巧

一种训练大语言模型的直接方法，涵盖从数据下载到文本生成的完整流程。

🌐 让网站可供AI智能体访问。轻松实现在线任务自动化。

流行聊天机器人系统提示词集合（含ChatGPT、Claude和Gemini等）

🎭 211 个即插即用的 AI 专家角色 — 支持 Hermes Agent/Claude Code/Cursor/Copilot 等 16 种工具，覆盖工程/设计/营销/金融等 18 个部门。含 46 个中国市场原创智能体（小红书/抖音/微信/飞书/钉钉等）

面向大语言模型的高吞吐量与内存优化型推理服务引擎

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

🦜🔗 构建情境感知推理应用程序 🦜🔗

使用 MLX 运行大型语言模型

面向LLM与AI Agent的自进化记忆操作系统：超持久记忆、混合检索与跨任务技能复用，节省35.24%的Token消耗

本仓库展示检索增强生成系统的多种先进技术，该系统通过结合信息检索与生成模型来提供精准且上下文丰富的响应

掌控你的AI。专为AI代理打造的原生macOS框架——支持任意模型、持久化记忆、自主执行与加密身份。基于Swift构建。完全离线运行。开源项目。

通过最快的KV缓存层为您的LLM加速

通过最快的KV缓存层为您的LLM加速

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

真正具备记忆能力的AI对话。再也不用向AI重复解释你的项目。加入我们的Discord：https://discord.gg/tyvKNccgqN

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

基于Flutter框架的LLM聊天客户端，支持Android、iOS及Harmony Next系统。

面向Claude Code的多触手协调器——整合Codex CLI与Gemini CLI，通过智能上下文路由实现并行任务执行

🦍 云原生API网关与AI网关。

通过模型上下文协议将大型语言模型与高级AI智能体连接至Unity编辑器的AI桥梁。可直接在项目中与AI对话生成代码、调试错误并自动化游戏开发任务

面向AI的数据转换框架。具备卓越性能，支持增量处理。如果喜欢请点亮星星！

本代码库提供端到端的代码优先教程，涵盖生产级生成式AI智能体的每个层级，通过经过验证的模式和可复用的蓝图，指导您从创意火花到规模化部署，助力实际应用落地。

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

为OpenAI/Anthropic/Gemini/Bedrock/OpenRouter/DeepSeek/Ollama/VertexAI/Perplexity/Mistral/GPUStack及OpenAI兼容API提供统一的Ruby接口。支持聊天、视觉、音频、PDF、图像、嵌入、工具、流式传输及Rails集成。

随处可用的本地AI，人人皆可——涵盖LLM推理、聊天界面、语音、智能体、工作流、RAG及图像生成。无需云端，无需订阅。

Google Cloud生成式AI示例代码与笔记本，含Vertex AI平台的Gemini模型应用。

通用型AI，专为知识工作者——创作者、策略师与运营者——以及希望拥有真正可控AI系统以协助完成工作、并能灵活扩展部署至任意环境（VPC、本地或云端）的个人而设计。

Koog是官方Kotlin框架，用于在所有平台上构建和运行稳健、可扩展且满足生产就绪要求的AI智能体——从后端服务到Android与iOS、JVM乃至浏览器环境均可部署。该框架基于我们在AI产品领域的专业经验，针对复杂的LLM与人工智能问题提供了经过实践验证的解决方案。

基于Envoy Gateway构建的生成式AI服务统一访问管理平台

SeaTunnel是多模态、高性能、分布式海量数据集成工具

如何在CUDA中优化某些算法

✨ AI 编程，Vim 风格

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

cuVS - GPU向量搜索与聚类计算库

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

编辑器代码助手——与编辑器无关的AI结对编程功能

Awesome Claude 目录：智能体、MCP 服务器、技能、钩子、命令、工具、指南及 AI 工作流资源。

🪢 Langfuse 文档 —— Langfuse 是开源的 LLM 工程平台。提供可观测性、评估、提示词管理、游乐场和指标功能，用于调试和改进 LLM 应用