ZunhaiSu/OScaR-KV-Quant

🏆 OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond — redefining the accuracy-efficiency Pareto front for X-LLMs KV quantization.

语言：C++ · GitHub 星标：143 · Fork：15

在 GitHub 上查看原仓库