ADA-FS - Advanced Data Placement via Ad-hoc File Systems at Extreme Scales

• Antragsteller: Professor Dr.-Ing. André Brinkmann; Professor Dr. Wolfgang E. Nagel; Professor Dr. Achim Streit
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme ; Rechnerarchitektur, eingebettete und massiv parallele Systeme
• Förderung: Förderung von 2015 bis 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 279334509

Das vorgeschlagene Projekt ADA-FS präsentiert einen Ansatz zur Verbesserung der I/O- Performance extrem hoch-skalierender paralleler Anwendungen. Es plant drei neue System-Software- Komponenten. Zunächst ein ad-hoc Overlay-Dateisystem, zweitens eine zentrale I/O-Planungs-Instanz und drittens ein Anwendungs-Monitoring hinsichtlich der dynamischen Nutzung von lokalen Hauptspeicher- und Zwischenspeicher-Ressourcen. Das ad-hoc Overlay-Dateisystem wird für jede parallele Anwendung separat bereitgestellt und auf den jeweils verwendeten Rechner-Knoten realisiert. Althergebrachte und neuartige Systemkomponenten in den lokalen Rechnerknoten wie z.B. RAM, lokale SSDs oder NVRAM-Bereiche werden dadurch als Zwischenspeicher für das zentrale Speichersystem verwendet, soweit sie nicht von der Anwendung selbt belegt sind. Damit wird die effektive I/O-Bandbreite erhöht und die Zugriffslatenz verringert. Die betreffenden Anwendungen benötigen keine Code-Änderungen, um von dieser Optimierung zu profitieren. Die zentrale I/O-Planung wird alle Datentransfers zu und von allen Instanzen des ad-hoc Overlay-Dateisystems koordinieren. Damit soll ein unvorhersehbarer Mix aus den I/O-Operationen aller Anwendungen, die gleichzeitig auf ein HPC-Dateisystem zugreifen, vermieden werden, weil sonst keine der einzelnen Anwendungen Annahmen über die ihr zur Verfügung stehende I/O-Bandbreite treffen kann. Mit der zentral koordinierten I/O-Planung werden quantuitative Vorhersagen über Transferzeiten zu und von dem ad-hoc Overlay-Dateisystem möglich. Außerdem profitieren alle An- wendungen, die ein eigenes ad-hoc Overlay-Dateisystem nutzen, davon, dass die Bandbreiten aus den lokalen Zwischenspeichern stets exklusiv pro Rechner-Knoten verfügbar sind. Detailierte Informationen über das parallele I/O-Verhalten der Anwendungen, die das integrierte Anwendungs-Monitoring liefert, sind nötig, um das vorausschauende Lesen von Eingabedaten bzw. das verzögerte Schreiben von Ausgabedaten zu planen und die Plazierung der Daten auf den beteiligten Rechnerknoten zu optimieren. Der Vorteil, den die vorgeschlagene Lösung bieten wird, wächst mit der parallelen Skalierung, da Summe der Bandbreiten der lokalen Zwischenspeicher stets die Bandbreite zentraler Dateisysteme übersteigt. Insbesondere bezieht das vorgelege Konzept dabei neuartige Hardware-Komponenten ein, die als Knoten-lokale Zwischenspeicher in zukünftigen Hochleistungsrechnern verfügbar sein werden.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 1648: Software für Exascale Computing