Learning the Context in Programming by Demonstration of Manipulation Tasks
Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Final Report Abstract
Im Rahmen dieses Projekts ist eine neuartige Repräsentation mit zugehörigen Algorithmen entworfen und realisiert worden, die es erlaubt Innenraumszenen in räumlichen Objektkonfigurationen zu erkennen. Dieser Ansatz ist insbesondere für solche Konfigurationen geeignet, die aus einem einzelnen Kamerablickwinkel heraus nicht vollständig erfasst werden können. Ausgenutzt wird diese Fähigkeit durch ein selbst entwickeltes Verfahren zum dreidimensionalen Suchen von Objekten, das wir mit unseren Szenenerkennungsalgorithmen verknüpft haben. Den Ansatz Suchen und Erkennen zu integrieren, bezeichnen wir als Aktive Szenenerkennung. Er erlaubt es mobilen Robotern insbesondere die räumlichen Lagen gesuchter Objekte vorherzusagen. Dies erfolgt durch Kombinieren gelernter, räumlicher Relationen mit aktuellen Schätzungen über vorliegende Szenen. Die neuartige Repräsentation, die sowohl zum Erkennen von Szenen wie auch zum Vorhersagen von Objektlagen geeignet ist, bezeichnen wir als Implicit Shape Model - Baum. Diesen Szenenklassifikator leiten wir aus durch Menschen durchgeführten Demonstrationen ab, im Zuge derer Mengen an Objektkonfigurationen sukzessive sensorisch erfasst werden. Eine Demonstration für einen Szenenklassifikator zeichnet sich u.a. dadurch aus, dass sie aus für die Szene charakteristischen Beispielkonfigurationen besteht. Die Ableitung selbst wird mittels eines selbst entwickelten Lernverfahrens umgesetzt, das einen weiteren, selbst entwickelten kombinatorischen Optimierungsalgorithmus für räumliche Objektrelationen aufruft. Dieser Algorithmus schätzt für jede zu modellierende Szene eine minimale Menge an Relationen - die relevantesten Relationen - die benötigt werden um die Szene akkurat zu modellieren. Ergebnis des Lernverfahrens ist ein Implicit Shape Model - Baum, der sowohl in Bezug auf berücksichtigten Relationen, wie auch in Bezug auf deren räumliche Charakteristika an die zu modellierende Szene angepasst ist.
Publications
- Active Scene Recognition for Programming by Demonstration using Next-Best-View Estimates from Hierarchical Implicit Shape Models. In: Robotics and Automation (ICRA), 2014 IEEE International Conference on IEEE, 2014, S. 5585–5591
Meissner, P. ; Reckling, R. ; Wittenbeck, V. ; Schmidt-Rohr, S. ; Dillmann, R.
(See online at https://doi.org/10.1109/ICRA.2014.6907680) - Automated Selection of Spatial Object Relations for Modeling and Recognizing Indoor Scenes with Hierarchical Implicit Shape Models. In: Intelligent Robots and Systems (IROS), 2015 IEEE/RSJ International Conference on IEEE, 2015, S. 4257–4264
Meissner, P. ; Hanselmann, F. ; Jäkel, R. ; Schmidt-Rohr, S. ; Dillmann, R.
(See online at https://doi.org/10.1109/IROS.2015.7353980) - Scene Recognition for Mobile Robots by Relational Object Search using Next-Best-View Estimates from Hierarchical Implicit Shape Models. In: Intelligent Robots and Systems (IROS), 2016 IEEE/RSJ International Conference on IEEE, 2016, S. 137–144
Meissner, P. ; Schleicher, R. ; Hutmacher, R. ; Schmidt-Rohr, S. ; Dillmann, R.
(See online at https://doi.org/10.1109/IROS.2016.7759046)
