Projektionsbasierte Ultraweitwinkel- und 360°-Videocodierung

• Antragsteller: Professor Dr.-Ing. André Kaup
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung von 2019 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 418866191

Im Videoüberwachungs- und Automobilbereich finden häufig Ultraweitwinkelkameras Einsatz, mit denen ein Sichtfeld von über 180 Grad aufgenommen werden kann. Mithilfe von 360-Grad-Kameras sind sogar Aufnahmen mit einem horizontalen Sichtfeld von 360 Grad möglich. Derartige Aufnahmen bieten eine komplette Rundumsicht und sind neben den genannten Bereichen auf für Virtual Reality-Anwendungen interessant, wo sie ein immersives Erlebnis bieten. Um eine ausreichende visuelle Qualität sicherzustellen, ist eine Auflösung der Einzelbilder von 4K oder 8K notwendig, was zu einer immensen Datenmenge führt, die nicht ohne Komprimierung übertragen oder gespeichert werden kann. Konventionelle Codierverfahren berücksichtigen nicht die von perspektivischer Projektion abweichenden Abbildungsfunktionen von Ultraweitwinkel- und 360-Grad-Kameras, was zu suboptimalen Codiergewinnen führt. Ziel dieses Projekts ist daher die Entwicklung neuer Komprimierungsverfahren für Ultraweitwinkel- und 360-Grad-Videoaufnahmen, die die Abbildungsfunktionen explizit ausnutzen, um eine effiziente Speicherung und Übertragung zu ermöglichen. In der ersten Phase des Projekts wurde ein neuartiges Bewegungskompensationsverfahren entwickelt, das den bisherigen projektionsbasierten Ansatz und den traditionellen translatorischen Ansatz im Durchschnitt um 2,40 dB beziehungsweise nahezu 3,00 dB übertrifft. Desweiteren wurde eine wesentlich verbesserte Handhabung von Einfallswinkeln jenseits von 90 Grad formuliert und ein interaktives Echtzeit-Visualisierungswerkzeug zur Demonstration der entwickelten Algorithmen erarbeitet. In einer zweiten Projektphase soll darauf aufbauend erforscht werden, inwiefern projektionsbasierte Ansätze die Kompressionseffizienz hybrider Videocodierung und lernbasierter Videokompression verbessern können. Das Projekt befasst sich dabei mit der Erforschung neuartiger projektionsbasierter Erweiterungen der hybriden Videocodierung, wobei besonderes Augenmerk auf die Erforschung ganzheitlicher Ansätze gelegt wird, die sämtliche Bestandteile der Codierung berücksichtigen. Aufgrund der rasanten Entwicklung im Bereich der lernbasierten Videokompression wird darüber hinaus die Anwendbarkeit projektionsbasierter Methoden auf Ende-zu-Ende optimierte (engl. end-to-end optimized) Videokompressionsnetzwerke untersucht, mit dem Ziel, deren Kompressionseffizienz für Ultraweitwinkel- und 360-Grad-Videos zu verbessern. Die Generierung und Veröffentlichung geeigneter 360-Grad-Datensätze zum Trainieren und Testen der entwickelten Verfahren für hybride und lernbasierte Videocodierung ist ebenfalls Teil des Projekts.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Mitverantwortliche: Dr.-Ing. Christian Josef Herglotz; Privatdozent Dr.-Ing. Jürgen Seiler
• Kooperationspartner: Professor Dr. Pascal Frossard