triton

共找到 2 个相关项目

NVIDIA/GenerativeAIExamples

Jupyter Notebook

面向加速基础设施与微服务架构优化的生成式AI参考工作流

gpu-acceleration large-language-models llm
NVIDIA
NVIDIA 开发者
3.8k
976
83
+20
排名 #15
2月13日
查看详情

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.2k
355
69
+149
排名 #15
2月23日
查看详情
助手