#llama 每日趋势报告

面向大语言模型的高吞吐量与内存优化型推理服务引擎

本仓库展示检索增强生成系统的多种先进技术，该系统通过结合信息检索与生成模型来提供精准且上下文丰富的响应

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

面向Claude Code的多触手协调器——整合Codex CLI与Gemini CLI，通过智能上下文路由实现并行任务执行

随处可用的本地AI，人人皆可——涵盖LLM推理、聊天界面、语音、智能体、工作流、RAG及图像生成。无需云端，无需订阅。

为OpenAI/Anthropic/Gemini/Bedrock/OpenRouter/DeepSeek/Ollama/VertexAI/Perplexity/Mistral/GPUStack及OpenAI兼容API提供统一的Ruby接口。支持聊天、视觉、音频、PDF、图像、嵌入、工具、流式传输及Rails集成。

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

Koog是官方Kotlin框架，用于在所有平台上构建和运行稳健、可扩展且满足生产就绪要求的AI智能体——从后端服务到Android与iOS、JVM乃至浏览器环境均可部署。该框架基于我们在AI产品领域的专业经验，针对复杂的LLM与人工智能问题提供了经过实践验证的解决方案。

✨ AI 编程，Vim 风格

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。