mlsys

话题找到数量

inclusionAI/AReaL

Python

专为大型语言模型推理与智能体打造的闪电式强化学习框架。

agent llm llm-agent
inclusionAI
inclusionAI 开发者
4.6k
378
136
+969
排名 #9
3月8日
查看详情

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.3k
394
187
+149
排名 #15
4月11日
查看详情

thu-ml/SpargeAttn

Cuda

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

ai-infra attention inference-acceleration
thu-ml
thu-ml 开发者
951
87
218
+4
排名 #16
2月25日
查看详情
助手