turboderp-org/exllamav2

A fast inference library for running LLMs locally on modern consumer-class GPUs

语言：Python · GitHub 星标：4,648 · Fork：348

在 GitHub 上查看原仓库