随着深度学习的层数越来越多，模型的参数也呈现出了快速增长的趋势，然而GPU内存的增长速度却远慢于模型体积的增长。有限的GPU内存限制了我们训练和部署模型的灵活性，GPU内存墙成为了现在亟待解决的问题。先前已经有许多研究进行了探索，可以概括为两大类：一是基于多级存储构建透明的数据分页和迁移机制，利用page fault在多级存储中交换数据，并对上层应…