❤️❤️❤️❤️❤️❤️ 我们已经正式推出微信小程序，在微信中搜索 TrendForge Pro 即可使用小程序，如果使用 Telegram 请搜索 trendforge_tg ❤️❤️❤️❤️❤️❤️

quantization

话题找到数量

hiyouga/LlamaFactory

Python

百款大语言模型与视觉语言模型的统一高效微调框架（ACL 2024）

agent ai deepseek
hiyouga
hiyouga 开发者
67k
8.2k
503
+52
排名 #6
2月27日
查看详情

UFund-Me/Qbot

Jupyter Notebook

[🔥更新中...] AI自动量化交易机器人（完全本地部署）AI驱动的量化投资研究平台。

backtest bitcoin blockchain
UFund-Me
UFund-Me 开发者
17k
2.5k
286
+129
排名 #16
5月25日
查看详情

RyanCodrai/turbovec

Python

基于TurboQuant构建的向量索引，使用Rust编写并带有Python绑定

ann avx512 embedding
RyanCodrai
RyanCodrai 开发者
10k
868
60
+1.8k
排名 #10
6月9日
查看详情

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.4k
428
397
+149
排名 #16
6月9日
查看详情

RightNow-AI/picolm

C

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

arm embedded inference
RightNow-AI
RightNow-AI 开发者
1.6k
190
159
+3
排名 #12
4月27日
查看详情

thu-ml/SpargeAttn

Cuda

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

ai-infra attention inference-acceleration
thu-ml
thu-ml 开发者
951
87
370
+4
排名 #16
2月25日
查看详情

Tencent/AngelSlim

Python

为提升易用性、全面性与效率而设计的模型压缩工具包。

audio deepseek diffusion
Tencent
Tencent 开发者
753
92
329
+38
排名 #11
5月1日
查看详情

psmarter/CUDA-Practice

Cuda

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。

cuda cuda-kernels cutlass
psmarter
psmarter 开发者
155
12
88
+49
排名 #4
5月31日
查看详情
助手