attention

话题找到数量

sgl-project/sglang

Python

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

attention blackwell cuda
sgl-project
sgl-project 开发者
23k
4.3k
307
+128
排名 #9
2月6日
查看详情

QwenLM/Qwen

Python

阿里云提出的通义千问对话与预训练大语言模型的官方仓库

chinese flash-attention large-language-models
QwenLM
QwenLM 开发者
20k
1.7k
146
+35
排名 #15
3月5日
查看详情

flashinfer-ai/flashinfer

Python

FlashInfer：大语言模型服务的核心计算库

attention cuda distributed-inference
flashinfer-ai
flashinfer-ai 开发者
4.8k
670
248
+14
排名 #7
1月27日
查看详情

ruvnet/ruvector

Rust

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

ai ai-ocr attention-mechanism
ruvnet
ruvnet 开发者
3.5k
415
249
+1.8k
排名 #11
3月22日
查看详情

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.3k
391
182
+149
排名 #15
4月9日
查看详情

thu-ml/SpargeAttn

Cuda

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

ai-infra attention inference-acceleration
thu-ml
thu-ml 开发者
951
87
198
+4
排名 #16
2月25日
查看详情
助手