large-language-models

面向加速基础设施与微服务架构优化的生成式AI参考工作流

使用PyTorch从零开始逐步实现一个推理大语言模型

动手学Ollama，在CPU上玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollama/

专为多种AI加速器优化的大语言模型高性能推理引擎。

🪢 Langfuse 文档 —— Langfuse 是开源的 LLM 工程平台。提供可观测性、评估、提示词管理、游乐场和指标功能，用于调试和改进 LLM 应用