SharpAI/SwiftLM

⚡ Native MLX Swift LLM inference server for Apple Silicon. OpenAI-compatible API, SSD streaming for 100B+ MoE models, TurboQuant KV cache compression, MACOS + iOS iPhone app.

语言：Swift · GitHub 星标：792 · Fork：56

话题：apple-sili · inference · ios · llm · metal · mlx · moe · on-device-ai

在 GitHub 上查看原仓库