无数双手从我面前经过 我都不曾握住
2024年4月19日,我研究生三年中最迷茫无助的一天。 中午在校车上时看到HR突然解散了24届应届生的微信群,内心就顿感不妙,果不其然几分钟之后就收到了HR毁约的通知。我在厕所里打完了解约沟通的电话,大概意思就是半导体行业变幻莫测,现在公司出了点问题,要对24届所有的校招学生解约,出于所谓的企业责任感会赔偿半个月工资。 整个沟通过程中我人都是懵的,…
懒惰是一生之敌

自从1月底算法实现完毕,直到今天才把论文投出去,历时整整两个月。恨自己为什么寒假每天开摆,恨自己为什么不早一点做实验,恨自己为什么不一开始就把Introduction和Motivation发给我导修改……啊,懒惰真是我的一生之敌!

我并非不愿意做事情,相反,我心甘情愿地每天从早到晚高效率干活,但前提是旁边有人时刻监督我、能随机跟我交流讨论才好。这样说的话,问题的根源似乎也不是懒惰,而是我一点都不自觉。

天呀,什么时候才能改掉这个坏毛病呀!

402 日 , 2024 17:05
月末小确幸

终于在1月的倒数第二天将小论文的两个方法实现完毕,一千多行的代码肯定还有许多值得优化的空间,但我不管,明天开始我要在另一台GPU服务器搭环境开始做测试咯

130 日 , 2024 21:17
使用GPU加速图采样的动机和见解
为什么使用GPU采样而不是CPU 在一个典型的使用GPU来加速图神经网络的系统中,每次迭代可以抽象为三个阶段,分别是采样、特征提取和模型训练。在系统初始化部分完成数据集的加载和预处理、定义Dataloader、Sampler和模型,随后开始训练,Dataloader负载加载一个minibatch,Sampler对其进行采样得到采样子图,从内存中聚合…
图神经网络系统的挑战
图神经网络借助图强大的数据表示能力和神经网络参数共享、局部连接和强大的拟合能力在社交网络分析、推荐系统、分子预测等多种领域取得了很好的效果,飞速增长的数据规模给图神经网络系统带来了可扩展性的问题。尤其是图中节点之间不规则的连接在基于采样的GNN训练中导致了节点的冗余访问,相较于图拓扑数据而言庞大的特征数据在不同的节点或设备之间的传输导致的通信效率低…
关于GNN中若干疑惑的解释
不同图采样模式的区别 minibatch SGD是在GPU内存优先的前提下将GNN训练扩展到更大规模数据集上的有效训练方式,然而对于每个minibatch中的目标节点,如果使用它的全部K阶邻居节点的聚合特征来生成该节点的嵌入表示,那么minibatch子图中节点的数量会随着K的增大而急剧增加,导致GPU内存无法容纳一个子图的特征数据,这就是GNN训…
论文学习 PaGraph:Scaling GNN Training on Large Graphs via Computation-aware Caching
 GitHubzhiqi-0/Pagraph   PaGraph由来自中科大李诚教授团队的林郅琦主导实现,该工作共发表在SoCC'20和TPDS'21上,代码已开源。 PaGraph的主要工作是在GNN系统中引入了特征缓存来加速训练并提供了一种简单可行的缓存策略;同时设计了一种图分区算法以支持对GPU的可扩展性。 背景知识 GNN 图是一种表示能力…
世界,您好!
欢迎使1用WordPress。这是您的第一篇文章。编辑或删除它,然后开始写作吧! 你好呀2