guoqingbao/xinfer

Blazing-fast LLM inference in pure Rust. No PyTorch and Python runtime.

语言：Rust · GitHub 星标：345 · Fork：51

话题：agent · llm · qwen · rust · vllm

在 GitHub 上查看原仓库