Luce-Org/lucebox

LLM speculative inference server for heterogeneous hardware & consumer GPUs

语言：C++ · GitHub 星标：2,969 · Fork：285

话题：cuda · cuda-kernels · dflash · heterogeneous-computing · kernel · llama-cpp · local-ai · luce

在 GitHub 上查看原仓库