Laserbasierte Szeneninterpretation in dynamischen Umgebungen

• Antragsteller: Dr. Jens Behley
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2015 bis 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 289062648

• Erstellungsjahr: 2020

Zusammenfassung der Projektergebnisse

Semantisches Szenenverständnis ist von entscheidender Bedeutung für autonome Systeme, welche in natürlichen und dynamischen Umgebungen agieren wollen. Für das autonome Fahren sind hierbei die sich potentiell bewegenden Objekte, wie andere Fahrzeuge, Fahrradfahrer, und Fußgänger, aber auch die befahrbaren Flächen und anderen Objekte von entscheidender Bedeutung, da diese bei der Planung und Ausführung relevant sind. In den letzten Jahren werden neben Bildinformationen immer häufiger auch präzise Entfernungsdaten in Form von dreidimensionalen Punktwolken bzw. Tiefenbildern zur Szenenanalyse eingesetzt. Im Rahmen des Projektes sollte die dichte semantische Szeneninterpretation einer Sequenz von Punktwolken untersucht werden. Zur Verwirklichung der Zielsetzung wurde zuerst ein Verfahren zur globalkonsistenten Kartierung entwickelt, welches in Echtzeit die Position und Orientierung eines Lasersensors nur unter zur Hilfenahme der gemessenen dreidimensionalen Punktwolken ermitteln kann. Die so geschätzten Posen konnten dann genutzt werden, um so Zeitreihen von Punktwolken zu aggregieren. Die überlagerten Punktwolken konnten so effizient punktweise mit aufgabenrelevanten semantischen Klassen annotiert werden. Zudem wurden manuell einzelnen Objektinstanzen bestimmt und zeitlich konsistente Instanzzuordnungen vorgenommen. Resultat ist einer der größten Datensätze, der SemanticKITTI Datensatz, der die Entwicklung und Evaluation von semantischer Segmentierung auf Basis von einzelnen Punktwolken ermöglicht. Aufbauend auf dem Datensatz wurde zuerst ein Verfahren zur semantischen Segmentierung auf Basis einer Projektion der Punktwolke entwickelt, welches zudem Fehler bei der Rückprojektion in die dreidimensionalen Punktwolken korrigieren kann. Neben semantische Segmentierung wurde zudem ein Verfahren zur sogenannten panoptische Segmentierung, um gleichzeitig semantische Segmentierung und Instanzsegmentierung zu erreichen, entwickelt. Letztlich wurde die semantische Kartierung auf Basis der zuvor entwickelten semantischen Segmentierung und Kartierung zur Verbesserung der Posenschätzung mittels semantischer Information umgesetzt.

Projektbezogene Publikationen (Auswahl)

• "Efficient Surfel-Based SLAM using 3D Laser Range Data in Urban Environments“. In: Proc. of Robotics: Science and Systems (RSS). 2018
  J. Behley und C. Stachniss
  
• RangeNet++: Fast and Accurate LiDAR Semantic Segmentation“. In: Proceedings of the IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS). 2019
  A. Milioto, I. Vizzo, J. Behley und C. Stachniss
  
• SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences“. In: Proc. of the IEEE/CVF International Conf. on Computer Vision (ICCV). 2019
  J. Behley, M. Garbade, A. Milioto, J. Quenzel, S. Behnke, C. Stachniss und J. Gall
  
• SuMa++: Efficient LiDAR-based Semantic SLAM“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2019
  X. Chen, A. Milioto, E. Palazzolo, P. Giguere, J. Behley und C. Stachniss
  
• A Benchmark for LiDAR-based Panoptic Segmentation based on KITTI“. In: arXiv preprint (2020)
  J. Behley, A. Milioto und C. Stachniss
  
• Domain Transfer for Semantic Segmentation of LiDAR Data using Deep Neural Networks“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2020
  F. Langer, A. Milioto, A. Haag, J. Behley und C. Stachniss
  
• LiDAR Panoptic Segmentation for Autonomous Driving“. In: Proc. of the IEEE/RSJ Intl. Conf. on Intelligent Robots and Systems (IROS). 2020
  A. Milioto, J. Behley, C. McCool und C. Stachniss