Robustes Data Mining von sehr großen Graphen mit Knotenattributen

• Antragsteller: Professor Dr. Stephan Günnemann
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung von 2015 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 267560157

• Erstellungsjahr: 2022

Zusammenfassung der Projektergebnisse

Das Ziel des Emmy Noether-Projekts war es, das Verständnis für die Robustheit von graphbasierten Data Mining / maschinellen Lernverfahren zu verbessern. Mit dem zunehmenden Einsatz von maschinellem Lernen auf Graphen wird der Bedarf an zuverlässigen Techniken immer wichtiger. Im Rahmen des Projekts wurde das Feld in drei verschiedene Richtungen weiterentwickelt: (1) Es wurden verschiedene Ansätze vorgeschlagen, die in der Lage sind, Graphen zu perturbieren, so dass Schwachstellen in den verwendeten maschinellen Lernverfahren offensichtlich werden. Unter anderem wurde die Robustheit von Graph Neural Networks und Graph Embeddings untersucht. Alle Studien haben gezeigt, dass graphenbasierte Lerntechniken sehr anfällig für Störungen in den Daten sind und dass die Ergebnisse sorgfältig geprüft werden müssen. (2) Es wurden Techniken entwickelt, die die Robustheit der Modelle erhöhen. Die vorgeschlagenen Weiterentwicklungen reichen von robusteren Clustering-Techniken über fortgeschrittene Trainingsverfahren, bis hin zu verbesserten Architekturen für Graph Neural Networks. In verschiedenen experimentellen Studien, wurde der Vorteil dieser robusten Modelle gegenüber den nicht robusten Grundmodellen gezeigt. (3) Es wurden Verfahren zur Zertifizierung der Robustheit von graphenbasierten Modellen entwickelt, d. h. zur Bereitstellung mathematischer Garantien über die Stabilität der Ergebnisse eines Modells. Die Zertifikate umfassen White-Box-Zertifikate, die die Besonderheiten bestimmter Klassen von Ansätzen ausnutzen und Black-Box-Zertifikate, die allgemein anwendbar und modellunabhängig sind. Hand in Hand mit diesen Hauptrichtungen wurden verschiedene Ansätze zur Skalierung der vorgeschlagenen Ansätze und der Graph-Learning-Techniken im Allgemeinen untersucht, z.B. unter Ausnutzung der Sparsity der Daten oder die Berücksichtigung großer/verteilter Lernumgebungen.

Projektbezogene Publikationen (Auswahl)

• Robust Spectral Clustering for Noisy Data: Modeling Sparse Corruptions Improves Latent Embeddings. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2017
  Aleksandar Bojchevski, Yves Matkovic, Stephan Günnemann
  (Siehe online unter https://doi.org/10.1145/3097983.3098156)
• Adversarial Attacks on Neural Networks for Graph Data. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2018 [Best Research Paper Award]
  Daniel Zügner, Amir Akbarnejad, Stephan Günnemann
  (Siehe online unter https://doi.org/10.1145/3219819.3220078)
• Bayesian Robust Attributed Graph Clustering: Joint Learning of Partial Anomalies and Group Structure. AAAI Conference on Artificial Intelligence, 2018
  Aleksandar Bojchevski, Stephan Günnemann
  (Siehe online unter https://doi.org/10.1609/aaai.v32i1.11642)
• Deep Gaussian Embedding of Graphs: Unsupervised Inductive Learning via Ranking. International Conference on Learning Representations (ICLR), 2018
  Aleksandar Bojchevski, Stephan Günnemann
  (Siehe online unter https://doi.org/10.48550/arXiv.1707.03815)
• Adversarial Attacks on Node Embeddings via Graph Poisoning. International Conference on Machine Learning (ICML), 2019
  Aleksandar Bojchevski, Stephan Günnemann
  (Siehe online unter https://doi.org/10.48550/arXiv.1809.01093)
• Certifiable Robustness and Robust Training for Graph Convolutional Networks. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2019
  Daniel Zügner, Stephan Günnemann
  (Siehe online unter https://doi.org/10.48550/arXiv.1906.12269)
• Certifiable Robustness to Graph Perturbations. Neural Information Processing Systems (NeurIPS), 2019
  Aleksandar Bojchevski, Stephan Günnemann
  (Siehe online unter https://doi.org/10.48550/arXiv.1910.14356)
• Certifiable Robustness of Graph Convolutional Networks under Structure Perturbations. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2020
  Daniel Zügner, Stephan Günnemann
  (Siehe online unter https://doi.org/10.1145/3394486.3403217)
• Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More. International Conference on Machine Learning (ICML), 2020
  Aleksandar Bojchevski, Johannes Gasteiger, Stephan Günnemann
  (Siehe online unter https://doi.org/10.48550/arXiv.2008.12952)
• Reliable Graph Neural Networks via Robust Aggregation. Neural Information Processing Systems (NeurIPS), 2020
  Simon Geisler, Daniel Zügner, Stephan Günnemann
  (Siehe online unter https://doi.org/10.48550/arXiv.2010.15651)