decoder论⽂解析:VariationalGraphAuto-Encoders
论⽂解析:Variational Graph Auto-Encoders
作者:Thomas N. Kipf, Max Welling, 和的作者是⼀样的
会议:Bayesian Deep Learning Workshop (NIPS 2016), NIPS的⼀个workshop,不是长⽂
论⽂链接:
代码链接:
VAE
Variational Auto-Encoder (VAE),变分⾃编码器,主要由两部分构成,⼀个Encoder和⼀个Decoder, 主要⽤于⽣成式模型,Encoder 把input变成是概率分布,从概率分布中采样得到隐变量Z,Decoder把这个隐变量Z变成output.
Auto-Encoder (AE),其他步骤与VAE类似,但是Encoder把input直接变成隐变量Z
对于本⽂,就是要做⼀个从图的节点特征以及部分边到图的所有边的⽣成模型。隐变量就是图节点的表
⽰,Encoder就是图节点的编码器,Decoder就是图的边⽣成器。
GAE
GAE是GCN在Auto-Encoders (AE)的应⽤,⾮常容易理解,隐变量Z就是图上的N个节点经过GCN后的N*F维特征,Encoder就是两层GCN, Decoder就是向量点积。可以将隐变量Z理解为某种意义上图的节点的相似度,通过向量点积得到的两个图节点的相似度越⼤,则两个节点之间存在边的概率越⼤
VGAE
GAE是GCN在Variational Graph Auto-Encoders (VAE)的应⽤。Encoder⽤两个两层GCN分别得到N个均值和标准差,这两个GCN会共享第⼀层的参数,从⽽得到N个正态分布。Decoder仍然是向量点积
损失函数
对于每个边,VAE会⽣成⼀个预测值,与真实值(0/1, 0代表⽆边,1代表有边)之间的交叉熵函数就是损失函数
实验
本⽂的实验通过在图学习三⼤经典数据集:Cora, Citeseer, Pubmed上扔掉⼀些边来构造数据集,然后预测扔掉的边是否存在。评价指标是AUC和Precision. 对⽐⽅法是图谱⽅法和DeepWalk, 都是图学习领域的经典baseline. 实验结果⼊下图所⽰:

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。