llm

Koog是官方Kotlin框架，用于在所有平台上构建和运行稳健、可扩展且满足生产就绪要求的AI智能体——从后端服务到Android与iOS、JVM乃至浏览器环境均可部署。该框架基于我们在AI产品领域的专业经验，针对复杂的LLM与人工智能问题提供了经过实践验证的解决方案。

为OpenAI/Anthropic/Gemini/Bedrock/OpenRouter/DeepSeek/Ollama/VertexAI/Perplexity/Mistral/GPUStack及OpenAI兼容API提供统一的Ruby接口。支持聊天、视觉、音频、PDF、图像、嵌入、工具、流式传输及Rails集成。

原生支持Apple Silicon的LLM服务器，具备MCP支持。

Android平台最强大的人工智能助手与AI聊天软件

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

JVM代理框架，发音为Em-BAY-bel /ɛmˈbeɪbəl/

面向混合模型的智能路由器。

专为语言学习打造的媒体播放器，具备双语字幕、AI生成字幕、实时翻译等功能！

自学习智能体的上下文数据平台。为智能体提供存储、观察与学习的统一场所。旨在简化上下文工程，提升智能体可靠性与任务成功率。

如何在CUDA中优化某些算法

使用PyTorch从零开始逐步实现一个推理大语言模型

学习运用大语言模型、智能体、检索增强生成、微调、大语言模型运维与人工智能系统技术，构建你的第二大脑AI助手。

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

为 Laravel 中操作大语言模型提供统一接口

用于在AI应用中运行AI生成代码/代码解释的Python和JS/TS SDK。

AxonHub是一个现代化的AI网关系统，提供统一的OpenAI、Anthropic、Gemini及AI SDK兼容API接口

利用大语言模型和大语言模型视觉技术处理paperless-ngx——由AI驱动的文档数字化方案

LLM辅助代码/文本补全的Vim插件

ChatWiki 微信公众号的AI知识库工作流Agent平台，RAG大模型AI客服机器人，致力于成为垂直领域的coze、n8n。

https://adongwanai.github.io/AgentGuide | AI智能体开发指南 | LangGraph实战 | 高级RAG | 转型大模型 | 大模型面试 | 算法工程师 | 面试题库 | 强化学习 | 数据合成

面向昇腾平台的vLLM社区维护硬件插件

基于Flutter框架的LLM聊天客户端，支持Android、iOS及Harmony Next系统。

PentestAgent 是一个用于黑盒安全测试的 AI 智能体框架，支持漏洞赏金、红队行动和渗透测试工作流程。