vllm中的llm_engine主要由两个模块构成，Scheduler和Executor，其中Executor负责管理并行推理时的多个设备、模型的推理计算和KV Cache的显存分配和管理，而Scheduler负责请求的调度。接下来，我将详细介绍vllm的Scheduler模块和其调度策略。 vllm模块架构 前置知识 llm是自回归的模型，在一个…