某些时候，当我们躺在床上，也许什么都不想干，眼睛盯着天花板发呆，难免要想一些消极的事情。 于是我们开始思考自己人生的意义到底是什么。人，地球上唯一的智慧生物，只有我们才可以思考这个问题，猫和狗是不可能的，成年的猫狗每天想的无非是饿了就吃、困了就睡或者和人类与同类玩耍，它们不会想自己为什么会来到这个世界上，也不会想它们的两年后是否会成为当年自己心中理…

串流是通过显卡捕获显示器画面并将其压缩作为视频流进行网络传输实现远程控制的技术，相比与其他远程控制方式，串流可以拥有更高的画面质量和帧率，是远程游戏的不二选择。 NVIDIA Experience和AMD Link都提供了对串流的支持，但目前两家的串流工具都已停止维护，目前比较主流的方案是sunshine+moonlight，其中sunshine作…

vllm中的llm_engine主要由两个模块构成，Scheduler和Executor，其中Executor负责管理并行推理时的多个设备、模型的推理计算和KV Cache的显存分配和管理，而Scheduler负责请求的调度。接下来，我将详细介绍vllm的Scheduler模块和其调度策略。 vllm模块架构 前置知识 llm是自回归的模型，在一个…