Abstract

• Self-supervised learning (SSL) 위한 graph autoencoders (GAEs)
• 기존 GAE의 reconstruction objective, training robustness, and error metric 문제점들을 해결
• contrastive 방식이 아닌 generative 방식으로 SOTA 결과를 이룸
• Graph structure가 아닌 Feature를 reconstruction하는것에 초점을 맞춤

Introduction

• contrastive methods가 Graph분야에서 지배적으로 연구되고 있었음
• high-quality data augmentation의 지나치게 의존적인 contrastive 문제점에서 벗어나 Graph data를 바로 활용하는 generative 방식을 사용
• 기존 GAE는 Graph structure를 복원하는것에 집중되어있다.
• Maked feature를 복원하는 방식으로 robust한 특성을 가질수 있다.
• MSE가 아닌 Cosine error를 통한 Loss 함수 설계
• Decoder에도 GNN을 적용시켜 Encoder가 좀 더 잘 학습 할 수 있게 설계

Related work

Contrastive Self-Supervised Graph Learning

• 기준이 되는 데이터와 유사한 데이터는 가까운 곳에 맵핑
• 기준이 되는 데이터와 유사하지 않은 데이터는 멀리 떨어진 곳에 맵핑이 되도록 인코더를 학습

Generative Self-Supervised Graph Learning

• 인코더가 입력데이터를 받아 잠재 벡터 z를 생성하고, 이를 디코더가 다시 본래 데이터로 복구한다.