vLLM

vLLM 是目前使用最广的开源大模型推理引擎之一，核心创新是 PagedAttention 显存管理：把 KV Cache 按页分配，让显存利用率接近连续分配的极致水平，从而显著提升吞吐和并发。
它支持 Llama、Qwen、DeepSeek、Mistral 等主流开源模型，提供与 OpenAI 兼容的 API 接口，开箱即用。连续批处理、前缀缓存、量化推理（AWQ/GPTQ/FP8）等功能让生产部署成本大幅下降。
适合场景：需要高并发对外提供模型服务的团队、做模型评测与压测的工程师、以及想以最低显存成本跑大模型的开发者。
上手方式：pip install vllm 后，一条命令 vllm serve Qwen/Qwen2.5-7B-Instruct 即可启动 OpenAI 兼容服务。