Detailseite
Projekt
Skalierbares Datenmanagement in Netzwerken der nächsten Generation jenseits von RDMA
Antragsteller
Professor Dr. Carsten Binnig
Fachliche Zuordnung
Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
Förderung
Förderung seit 2017
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 361478211
Die effiziente Nutzung von Kommunikationsnetzen spielt eine wesentliche Rolle für die Skalierbarkeit von verteilten DBMSs. Während Kommunikationsnetze in der Vergangenheit langsam und passiv waren, haben sich die modernen Netzwerke erheblich verändert. Moderne Netzwerke bieten über Remote-Direct-Memory-Access (RDMA) nicht nur eine hohe Bandbreite und eine geringe Latenz, sondern die Netzwerkkomponenten bieten auch Möglichkeiten Berechnungen durch In-Network-Processing (INP) auf Netzwerkgeräte zu verlagern. Die Nutzung moderner Netzwerke durch einfaches Ersetzen des traditionellen Netzwerks führt aber nicht zu unmittelbaren Leistungsvorteilen. Das Ziel dieses Antrags ist es daher, die Möglichkeiten der Umgestaltung verteilter DBMS für die Fähigkeiten moderner (d.h. schneller und programmierbarer) Netzwerke zu untersuchen.In Phase I des Schwerpunktprogramms haben wir uns auf die Frage konzentriert, wie verteilte In-Memory-DBMS umgestaltet werden sollten, um RDMA optimal zu nutzen. Die Ergebnisse von Phase I lassen sich wie folgt zusammenfassen: (1) Wir haben gezeigt, dass die Verwendung von RDMA wesentliche Performancevorteile für die Umsetzung skalierbarer Hauptspeicher-DBMS-Systeme bietet. (2) Wir haben eine neue verteilte DBMS-Architektur für Hochgeschwindigkeitsnetzwerke vorgeschlagen, die Network-Attached-Memory (NAM)-Architektur, die RDMA effizient nutzt und gegenüber klassischen verteilten Datenbankarchitekturen viele Vorteile hinsichtlich der Skalierbarkeit (z.B. bessere Lastverteilung) bietet. (3) Basierend auf der NAM-Architektur haben wir gezeigt, wie die Kernbausteine von der Speicherschicht bis zur Anfrageverarbeitung für unterschiedliche Arbeitslasten (OLTP und OLAP) umgestaltet werden müssen. Unsere Evaluierung mit bestehenden Benchmarks zeigen, dass die NAM-Architektur eine lineare Skalierbarkeit auch bei größeren Clustern bieten kann.Wie bereits erwähnt, bietet RDMA erhebliche Leistungsvorteile für skalierbare In-Memory-DBMS, hat aber auch viele inhärente Einschränkungen. Ein Hauptgrund ist, dass die begrenzte Anzahl von RDMA-Operationen oft zu komplexen DBMS-Protokollen führt. In Phase II werden wir daher die Programmierbarkeit neuerer Hochgeschwindigkeits-Netzwerkkarten und Switches nutzen, um diese inhärenten Einschränkungen zu adressieren. Die Hauptziele des Antrags sind: (1) Zunächst wollen wir die INP-Fähigkeiten nutzen, um eine Reihe von intelligenten Remote-Speicher-Operationen zu entwickeln, die es uns ermöglichen, das RDMA-Protokoll zu erweitern. (2) Zweitens werden wir auf der Grundlage dieser intelligenten Remote-Speicher-Operationen den Entwurf von zentralen Komponenten verteilter DBMSs für OLAP und OLTP überdenken. (3) Schließlich werden wir die Effizienz unserer neuen Techniken durch die Durchführung von Benchmarks wie TPC-C oder TPC-H bewerten.
DFG-Verfahren
Schwerpunktprogramme
