#llama 每日趋势报告

使用单张4GB GPU实现AirLLM 70B推理

使用单张4GB GPU实现AirLLM 70B推理

面向大语言模型的高吞吐量与内存优化型推理服务引擎

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

可在本地运行AI的生产就绪工具包

内置RAG、AI智能体、无代码智能体构建器、MCP兼容等功能的桌面与Docker一体化AI应用

《开源大模型食用指南》针对中国开发者定制的Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程

LangChain的Java实现版本

LLM辅助代码/文本补全的Vim插件

✨ AI 编程，Vim 风格

Koog是官方Kotlin框架，用于在所有平台上构建和运行稳健、可扩展且满足生产就绪要求的AI智能体——从后端服务到Android与iOS、JVM乃至浏览器环境均可部署。该框架基于我们在AI产品领域的专业经验，针对复杂的LLM与人工智能问题提供了经过实践验证的解决方案。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。