Codierte Verteilte Berechnung mit Anwendung im Maschinellen Lernen

• Antragstellerin: Professorin Dr.-Ing. Antonia Wachter-Zeh
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 470027923

Algorithmen für maschinelles Lernen (ML) verarbeiten riesige Datenmengen, mit welchen intensive Berechnungen durchgeführt werden müssen. Die Idee der verteilten Berechnung (Distributed Computing) besteht darin, die Aufgabe in kleinere Unteraufgaben (welche leicht zu lösen sind) zu unterteilen und die Unteraufgaben auf mehrere Server zu verteilen. Jeder Server löst ein Teilproblem und überträgt dieses Teilergebnis an den Masterserver. Der Masterserver muss die Teilergebnisse kombinieren, um das Gesamtergebnis zu erhalten. Ein schwerwiegendes Problem bei der verteilten Berechnung sind langsame Server (auch "Straggler" genannt). Das Warten auf ihre Antworten führt zu einer enormen Verzögerung des ML Algorithmus. Daher werden fehlerkorrigierende Codes verwendet, um das Gesamtergebnis aus vielen (aber nicht notwendigerweise allen) Teilergebnissen rekonstruieren zu können.Dieses Projekt entwickelt neue Konzepte für zuverlässige und datensichere codierte Berechnungen. Dies umfasst codierte verteilte Matrizenmultiplikation, stochastischer Gradient Descent und Faltungsprodukte.Für die verteilte Matrizenmultiplikation besteht das Hauptziel darin, das Problem schlecht konditionierter reeller Vandermonde-Matrizen zu verringern und neue Codierungsstrategien basierend auf verketteten Codes, Rang-Metrik Codes und LDPC Codes anzuwenden.Das verteilte Faltungsprodukt muss zunächst passend in geeignete Unteraufgaben aufgeteilt werden, um Codierungsschemata für den Umgang mit Stragglern und Adversarials zu entwerfen. Für die verteilte Berechnung des stochastischen Gradient Descents werden die Konvergenz des beschleunigten Gradient Descents und die Minimierung der Kommunikation sowie neue Codierungstechniken untersucht.Ein entscheidender Punkt ist die Gewährleistung des Datenschutzes (Privacy) der beteiligten Matrizen. Wir werden daher Schemata vorschlagen, welche die Privacy der Benutzer gewährleisten. Wir werden analysieren, wie die Komplexität der Codierung/Decodierung und die Privacy die Gesamtlatenz des Systems und den Trade-off zwischen Berechnung und Kommunikation beeinflussen.Aufgrund des zunehmenden Interesses an Federated Learning planen wir die Integration von Codierungstechniken, die das Lernen beschleunigen und den Schutz der betroffenen Daten gewährleisten können. Bei allen Ansätzen sollte die mögliche Heterogenität des Netzwerks durch die Verwendung von rateless Codes genutzt werden.

• DFG-Verfahren: Sachbeihilfen