Antizipative Mensch-Roboter-Kollaboration (P8)

• Antragsteller: Professor Dr. Sven Behnke
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung von 2017 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 313421352

Effektive Mensch-Roboter Zusammenarbeit erfordert, dass das robotische System die menschlichen Aktionen wahrnimmt, um den zukünftigen Zustand des gemeinsamen Arbeitsraums vorhersagen zu können und so antizipatives Verhalten für den Roboter zu erzeugen. Ziel des Projekts ist, den gemeinsamen Arbeitsraum von Mensch und Roboter zu modellieren, auf mehreren raumzeitlichen Skalen semantisch bedeutungstragende Zustände vorherzusagen und vorausschauende Roboteraktionen für die Realisierung der Mensch-Roboter-Kollaboration zu planen. Wir werden den kleinen kollaborativen Arbeitsraum, der im Project "Lernen Hierarchischer Repräsentationen für Antizipative Mensch-Roboter-Kollaboration" der ersten Phase der Forschergruppe für kollaborative Handhabungsaufgaben entwickelt wurde, zu einem größeren Szenario für kollaborative mobile Manipulation erweitern. Da der Arbeitsraum von mehreren Richtungen aus überwacht wird, müssen semantische Wahrnehmungen und Vorhersagen der einzelnen Ansichten zu einem allozentrischen semantischen 3D-Modell der Szene und dessen Änderungen fusioniert werden. Dazu werden wir explizit die intrinsische Sensorkalibrierung und die Koordinatentransformation zwischen den Sensorkoordinatensystemen und dem allozentrischen Szenenkoordinatensystem modellieren. Wir werden die Szene durch einfache lokalisierte 3D-Repräsentationen wie Belegtheitsgitter, Oberflächenelemente oder Distanzfelder modellieren. Das gesamte Modell wird einen differenzierbaren Funktionengraph bilden. Die Parameter dieser Transformationen und Repräsentationen sollen durch instantane Vorhersage einzelner Ansichten, gegeben die anderen Ansichten die in 3D-Repräsentation aggregiert wurden, geschätzt werden. Auf diese Weise werden z.B. Kameraposen bestimmt. Die dynamischen Aspekte der Repräsentationen sollen durch Vorhersage zukünftiger Ansichten aus den aggregierten Ansichten der Vergangenheit erlernt werden. Da die Intentionen und Aktionen der Agenten in der Szene, d.h. Menschen und Roboter, hohe Vorhersagekraft haben, sollen Vorhersagen zukünftiger Szenenzustände nicht nur auf den derzeitigen Szenenzustand konditioniert werden, sondern diese sollen auch von den Intentionen und Aktionen von Menschen und Robotern abhängen. Die so erzeugten semantischen Zustandsvorhersagen des gemeinsamen Arbeitsraums von Mensch und Roboter sollen für die Planung von antizipativem Roboterverhalten genutzt werden. Diese erfolgt von grob zu fein, d.h. von abstrakt zu konkret. Die Nützlichkeit unseres Ansatzes soll in kollaborativen mobilen Manipulationsaufgaben demonstriert werden, bei denen der Roboter den Menschen dadurch unterstützt, dass er die benötigten Objekte in der korrekten Reihenfolge im richtigen Moment anreicht.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 2535: Anticipating Human Behavior