谱域图神经网络理论基础.pptx

谱域图神经网络理论基础.pptx

《谱域图神经网络理论基础.pptx》由会员分享，可在线阅读，更多相关《谱域图神经网络理论基础.pptx（50页珍藏版）》请在冰豆网上搜索。

提纲图神经网络概述图神经网络的谱域解释相关研究（BernNet，ChebNetII，EvenNet）展望与总结图结构无处不在社交网络引用网络蛋白质网络道路网络信号网络图（Graph）的定义102345图（Graph）的定义102345011100101000110011100000001001001010图（Graph）的定义102345300000020000004000000100000020000002图（Graph）的定义102345图（Graph）的定义102345图（Graph）的定义NodeFeatures1Features2Features3Features4Features5Features6x0100000x1010000x2001000x3000100x4000010x5000001102345图神经网络以社交网络为例连接关系：

用户之间的连接关系特征信息：

用户的兴趣、年龄等特征预测、推荐任务图神经网络图神经网络图卷积神经网络（GCN）Kipfetal.,2017在图结构上聚合邻居的特征信息，进行消息传递；借助神经网络训练消息传递中的权重；遵循消息传递架构：

神经网络神经网络神经网络神经网络GCN消息传递架构GCN消息消息传播框架上一层的表示结果待学习权重矩阵x05NodeFeatures1Features2Features3Features4Features5Features6x0100000x1010000x2001000x3000100x4000010x000001Sum011100Self-loop111100102345GCN与CNNCNN也是一种图卷积神经网络（GCN）聚合周围八个邻居节点和自身的特征信息图神经网络的应用交通预测DeepMind利用GNN改进GoogleMap的预测出行时间CIKM2021EDA开发利用GNN的局部搜索性质设计heuristic近似/精确算法.药物研发PCQM4Mv2：

利用GNN进行大规模分子性质预测KDDCup2021,NeurIPS2022提纲图神经网络概述图神经网络的谱域解释相关研究（BernNet，ChebNetII，EvenNet）展望与总结图信号012345012345图信号012345012345图信号图傅里叶变换图傅里叶变换图傅里叶变换时域-频域傅里叶变换图傅里叶变换RingGraphEigenvectors滤波器3.图傅里叶逆变换1.图信号傅里叶变换2.频谱域滤波操作图卷积3.图傅里叶逆变换1.图信号傅里叶变换2.谱域图卷积操作同/异配图-滤波器75461328754613287546132875461328Impulselow-passImpulsehigh-pass同配图（Homophilygraph）边相连的节点通常属于同一类异配图（Heterophilygraph）边相连的节点通常属于不同类滤波器谱域图神经网络谱域图神经网络Renormalizationtrick谱域图神经网络问题前面的分析GCN：

固定低通滤波器，不适用于异配图；ChebNet、GPR-GNN可以学习滤波器，但是学到的滤波器不一定都是合理的（Valid），学习效率不高，鲁棒性也存疑。

因此是否存在多项式滤波器，可以学习/设计任意合理、高效、鲁棒的谱域滤波器？

提纲图神经网络概述图神经网络的谱域解释相关研究（BernNet，ChebNetII，EvenNet）展望与总结BernNet:

LearningArbitraryGraphSpectralFiltersviaBernsteinApproximation（NeurIPS2021）MingguoHe,ZheweiWei,ZengfengHuang,HongtengXu研究背景HeM,WeiZetal.BernNet:

LearningArbitraryGraphSpectralFiltersviaBernsteinApproximation.NeurIPS2021BernNetHeM,WeiZetal.BernNet:

LearningArbitraryGraphSpectralFiltersviaBernsteinApproximation.NeurIPS2021BernsteinApproximationHeM,WeiZetal.BernNet:

LearningArbitraryGraphSpectralFiltersviaBernsteinApproximation.NeurIPS2021实验结果40.190.56同配图异配图滤波器HeM,WeiZetal.BernNet:

LearningArbitraryGraphSpectralFiltersviaBernsteinApproximation.NeurIPS2021实验结果同配图异配图滤波器HeM,WeiZetal.BernNet:

LearningArbitraryGraphSpectralFiltersviaBernsteinApproximation.NeurIPS2021ConvolutionalNeuralNetworksonGraphswithChebyshevApproximation,Revisited（NeurIPS2022Oral,1.5%）MingguoHe,ZheweiWei,Ji-RongWen问题GCNKipfetal.,2017由ChebNetDefferrardetal.,2016简化而来为什么GCN在真实数据集上的效果更好？

Chebyshevbasis的近似能力强于Monomial和BernsteinbasisGeddes,1978为什么GRP-GNN和BernNet的效果更好？

ChebyshevExpansionHeM,WeiZetal.ConvolutionalNeuralNetworksonGraphswithChebyshevApproximation,Revisited.NeurIPS2022ChebNetII使用ChebyshevInterpolation直接学习滤波器的值ChebyshevNodesHeM,WeiZetal.ConvolutionalNeuralNetworksonGraphswithChebyshevApproximation,Revisited.NeurIPS2022实验结果Semi-supervisednodeclassificationFull-supervisednodeclassificationHeM,WeiZetal.ConvolutionalNeuralNetworksonGraphswithChebyshevApproximation,Revisited.NeurIPS2022实验结果ComparisonofDifferentPolynomialBasesChebNetII的可扩展性HeM,WeiZetal.ConvolutionalNeuralNetworksonGraphswithChebyshevApproximation,Revisited.NeurIPS2022EvenNet:

IgnoringOdd-HopNeighborsImprovesRobustnessofGraphNeuralNetworks（NeurIPS2022）RunlinLei,ZhenWang,YaliangLi,BolinDing,ZheweiWei问题在homophily-heterophilyinductive学习任务中，谱域GNN如何提高泛化性？

在同配图上学习到的滤波器不能泛化到异配图LeiR,WeiZetal.EvenNet:

IgnoringOdd-HopNeighborsImprovesRobustnessofGraphNeuralNetworks.NeurIPS2022平衡理论“Theenemyofmyenemyismyfriend,andthefriendofmyfriendisalsomyfriend.”Cartwright&Harary,1956FriendnetworksEnemynetworks结合平衡理论与图滤波器,在同异配变化下获得更鲁棒的谱域GNNLeiR,WeiZetal.EvenNet:

IgnoringOdd-HopNeighborsImprovesRobustnessofGraphNeuralNetworks.NeurIPS2022EvenNetLeiR,WeiZetal.EvenNet:

IgnoringOdd-HopNeighborsImprovesRobustnessofGraphNeuralNetworks.NeurIPS2022实验结果Syntheticdatasets（训练集和测试集的同配率设置为相同或相反）Non-targetedstructuraladversarialattacksMeta攻击和MinMax攻击下的节点分类精确度LeiR,WeiZetal.EvenNet:

IgnoringOdd-HopNeighborsImprovesRobustnessofGraphNeuralNetworks.NeurIPS2022提纲图神经网络概述图神经网络的谱域解释相关研究（BernNet，ChebNetII，EvenNet）展望与总结总结使用多项式近似滤波器是一种常见的方法GCN是一个低通滤波器，BernNet、ChebNetII可以学习任意的滤波器Chebyshevbasis有更强的学习滤波器的能力EvenNet简单地使用偶数多项式，有效地提高了谱域GNN的鲁棒性总结与展望GPR-GNNChienetal.,2021最优多项式基？

可扩展谱域GNN？

总结与展望ChebNetDefferrardetal.,2016BernNetHeetal.,2021JacobiConvWangetal.,2022谢谢观看！