overleaf提供了开源的社区版本供用户本地部署，可以不受官方在线版本的编译时长限制，overleaf提供了一组toolkit来简化本地部署的流程，下面我们从先决条件出发，介绍在Linux服务器和Windows系统部署的流程。 常见问题和解决方案附在文章末尾 Windows部署的先决条件 Docker Desktop（依赖于WSL2环境，安装后可…

这篇文章受密码保护，输入密码才能阅读

串流是通过显卡捕获显示器画面并将其压缩作为视频流进行网络传输实现远程控制的技术，相比与其他远程控制方式，串流可以拥有更高的画面质量和帧率，是远程游戏的不二选择。 NVIDIA Experience和AMD Link都提供了对串流的支持，但目前两家的串流工具都已停止维护，目前比较主流的方案是sunshine+moonlight，其中sunshine作…

vllm中的llm_engine主要由两个模块构成，Scheduler和Executor，其中Executor负责管理并行推理时的多个设备、模型的推理计算和KV Cache的显存分配和管理，而Scheduler负责请求的调度。接下来，我将详细介绍vllm的Scheduler模块和其调度策略。 vllm模块架构 前置知识 llm是自回归的模型，在一个…