项目介绍快速开始学习路径项目截图 3 贡献者 17 增长趋势代码统计生态关系项目时间线项目竞品依赖分析上榜历史

thu-ml/SageAttention

Cuda 一般

最后更新: 2026-02-23

3.2k

355

项目简介

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention achieves speedup of 2-5x compared to FlashAttention, without losing end-to-end metrics across language, image, and video models.

智能解读

点击生成更详细的项目介绍

正在分析项目...

原始标签

attention cuda efficient-attention inference-acceleration llm llm-infra mlsys quantization triton video-generate video-generation vit

智能标签

生成技术栈、用途、特征、受众等多维度标签

使用场景

了解这个项目能帮你解决什么问题

项目健康度

C 一般

综合活跃度、人气、增长、社区、文档评估

活跃度

18/25

人气

22/25

增长

4/20

社区

5/15

文档

8/15

在 GitHub 上查看

项目信息

作者 thu-ml

来源 GitHub

周期每日

仓库 ID thu-ml/SageAttention

最新提交 2026-01-17 17:43:28

首次采集 2026-02-24 08:00:24

最后更新 2026-02-24 08:00:24

赞赏支持

如果本站对你有帮助，欢迎打赏支持

微信

支付宝

Widget 徽章

预览

Markdown

HTML

登录后发表评论

加载评论中...

相关项目推荐

karpathy/llm.c

基于纯C/CUDA的简易大语言模型训练

28k Cuda

NVlabs/instant-ngp

即时神经图形原语：极速神经辐射场（NeRF）及其他技术

17k Cuda

deepseek-ai/FlashMLA

FlashMLA: Efficient MLA decoding kernels

11k Cuda

HigherOrderCO/HVM

基于Rust的大规模并行最优函数运行时

11k Cuda

deepseek-ai/DeepEP

DeepEP：高效的专家并行通信库

9k Cuda

deepseek-ai/DeepGEMM

DeepGEMM：具备细粒度缩放功能的精简高效FP8通用矩阵乘内核

6.2k Cuda