attention

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

FlashInfer：大语言模型服务的核心计算库

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。