Graph Self-Supervised Learning

Résumé des méthodes GSSL

Objectif : apprendre des représentations de nœuds $H=f_\theta(G)$ sans labels, à partir d’un graphe $G=(X,R)$ contenant des features textuelles $X$ et des relations $R$. Ces embeddings peuvent ensuite être utilisés pour le term typing, notamment dans des graphes construits automatiquement et donc potentiellement bruités.

1

Generative GSSL

Encoder → Decoder → Reconstruction loss

Les méthodes génératives entraînent un encodeur GNN à produire des embeddings $H$ suffisamment informatifs pour reconstruire une partie de l’entrée. Selon l’objectif prétexte, le modèle reconstruit les relations, les features, ou les deux simultanément.

Relation reconstruction GSSL
Relation reconstruction

Reconstruire la structure relationnelle

Le modèle apprend $H$ de façon à prédire les triples ou les relations manquantes. Le décodeur peut être un produit scalaire, DistMult, ConvE ou un scoreur relationnel adapté aux KG.

Loss typique avec negative sampling
$$s(u,r,v)=\mathbf{h}_u^{T}\mathbf{W}_r\mathbf{h}_v$$ $$\mathcal{L}_{\mathrm{rel}}=-\sum_{(u,r,v)\in \mathcal{T}^{+}}\log\sigma(s(u,r,v))-\sum_{(\tilde{u},r,\tilde{v})\in \mathcal{T}^{-}}\log\sigma(-s(\tilde{u},r,\tilde{v}))$$
Features reconstruction GSSL
Features reconstruction

Reconstruire les attributs des nœuds

Le GNN produit $H$, puis un décodeur MLP, GCN ou RGCN reconstruit les features initiales $X$. Cette famille est utile lorsque $X$ provient de PLMs et porte déjà une forte information sémantique.

Mean Squared Error
$$\mathcal{L}_{\mathrm{feat}}=\frac{1}{|V|}\sum_{v\in V}\left\|\hat{\mathbf{x}}_v-\mathbf{x}_v\right\|_2^2$$
Dual reconstruction GSSL
Dual reconstruction

Combiner structure et sémantique

Cette approche utilise deux décodeurs : un pour reconstruire les relations $R$ et un autre pour reconstruire les features $X$. Elle force $H$ à préserver à la fois le contexte relationnel et le contenu sémantique des termes.

Objectif multi-tâche
$$\mathcal{L}_{\mathrm{dual}}=\alpha\,\mathcal{L}_{\mathrm{rel}}+\beta\,\mathcal{L}_{\mathrm{feat}}$$
2

Contrastive GSSL

Augmentations → Shared Encoder → InfoNCE
Contrastive GSSL
Contrastive approach

Aligner deux vues augmentées du même graphe

Les méthodes contrastives génèrent plusieurs vues du graphe par masquage de features, suppression d’arêtes, suppression de nœuds ou sous-échantillonnage. L’encodeur apprend à rapprocher les représentations positives d’un même nœud et à éloigner les négatives.

  • Positif : même nœud dans deux vues augmentées.
  • Négatif : autres nœuds ou exemples corrompus.
  • But : embeddings plus discriminants et plus robustes.
InfoNCE node-level
$$\mathcal{L}_{\mathrm{con}}=-\frac{1}{|V|}\sum_{v\in V}\log\frac{\exp(\mathrm{sim}(\mathbf{h}_v^{(1)},\mathbf{h}_v^{(2)})/\tau)}{\sum_{u\in V}\exp(\mathrm{sim}(\mathbf{h}_v^{(1)},\mathbf{h}_u^{(2)})/\tau)}$$
Point important pour les graphes bruités : les augmentations doivent être contrôlées. Un edge dropping trop fort peut fragmenter davantage un graphe déjà incomplet, tandis qu’un masquage excessif peut détruire le signal sémantique issu des PLMs. Pour un KG multi-relationnel, un encodeur relation-aware comme RGCN est souvent plus cohérent qu’un GCN classique.