边缘计算有望通过在更靠近数据源的边缘设备上部署LLM来解决这些问题。一些工作试图利用模型量化来减小模型大小以适应资源约束的边缘设备，但这会导致精度损失。其他作品使用云边缘协作，遭受网络连接不稳定的困扰。在这项工作中，我们利用协作边缘计算来促进边缘设备和云服务器之间的协作，以共同执行高效的LLM推理。我们提出了一个通用框架，将LLM模型划分为分片并部署在分布式设备上。

cmake是一个功能强大的跨平台构建工具，由于项目要求，我们经常需要使用更高版本的cmake，然而Ubuntu的默认主流apt源都不包含最新版本的cmake，下面本文介绍了几种安装高版本cmake的方法。 方法1 apt安装 依次执行如下代码： $ sudo apt update $ sudo apt upgrade cmake 这种安装方式受限于…