边缘计算有望通过在更靠近数据源的边缘设备上部署LLM来解决这些问题。一些工作试图利用模型量化来减小模型大小以适应资源约束的边缘设备，但这会导致精度损失。其他作品使用云边缘协作，遭受网络连接不稳定的困扰。在这项工作中，我们利用协作边缘计算来促进边缘设备和云服务器之间的协作，以共同执行高效的LLM推理。我们提出了一个通用框架，将LLM模型划分为分片并部署在分布式设备上。