attention

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

阿里云提出的通义千问对话与预训练大语言模型的官方仓库

FlashInfer：大语言模型服务的核心计算库

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

最佳多智能体论文汇编

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。