Maschinelles Lernen und Interne Repräsentationen in der Verhaltensplanung, Motorkontrolle und Robotik

• Applicant: Professor Dr. Marc Toussaint
• Subject Area: Theoretical Computer Science
• Term: from 2007 to 2013
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 35757367

• Final Report Year: 2015

Final Report Abstract

Das allgemeine Ziel dieses Projekts war ein besseres Verständnis der Grundlagen intelligenten Verhaltens, insbesondere die Frage nach geeigneten internen Repräsentationen zur intelligenten Verhaltensorganisation und entsprechenden effizienten computationalen Prinzipien. Von den Ergebnissen des Emmy Noether-Projekts sind 2 zentrale konzeptionelle Erfolge herauszuheben, die - nach unserer Meinung - nachhaltigen Einfluss auf die internationale Forschung in dem Gebiet hatten und haben werden. Zum Einen ist das das Planning-as-lnference-Paradigma. Mit den Projektarbeiten wurde ein neues theoretisches Fundament geschaffen (das beispielsweise Optimalität im Vergleich zu klassischen Methoden analysiert), das sich in vielen Anwendungen auch als sehr effizient erwies: beim Planen mit und dem Erlernen von hierarchischen Repräsentationen in sogenannten POMDPs, bei der schnellen Bewegungsplanung in Robotik Problemen, bei skalierenden Methoden zur Lösung von Multi-Agenten-Problemen und schließlich auch als Grundlage einer neuen Klasse effizienter modellfreier Reinforcement-Lernalgorithmen. Die Resonanz in der Community und Folgeveröffentlichungen auch außerhalb unserer Arbeitsgruppe unterstreichen das Potential dieses neuen Ansatzes. Zum Zweiten sind das die Arbeiten zu relationaler Exploration, Lernen und Verhaltensplanung, die letztlich die Frage adressieren: Welche Repräsentationen braucht ein Roboter, der in seiner Umwelt Objekte zu manipulieren versucht und lernt? Unsere Arbeiten zu relationalen Repräsentationen schlagen die Brücke zwischen den theoretischen Arbeiten zu Planning-as-Inference, den Fragen nach geeigneten Repräsentationen zur Manipulation von Objekten und der konkreten Robotikanwendung. Zudem überwindet der Ansatz die falsche Dichotomie zwischen klassischer symbolischer KI und der statistischen Lerntheorie - was genereller Trend im Maschinellen Lernen ist: Die neuen Methoden kombinieren ausdrucksstarke symbolische Repräsentationen mit der Modellierung von probabilistischer Unsicherheit und entsprechenden probabilistischen Inferenzmethoden. Die Arbeiten legen aus unserer Sicht notwendige Grundlagen für (Robotik-) Systeme, die in intelligenter Weise Objekte ihrer Umwelt zu manipulieren erlernen. Desweiteren sind Arbeiten zur schnellen Bewegungsplanung entstanden, die geeignete Repräsentationen (Umgebungsmerkmale) für eine schnelle Bewegungsentscheidung aus Daten erlernen, und die Methoden wurden in kohärenter Form auf einer Robotikplattform integriert und demonstriert.

Publications

• Hierarchical POMDP controller optimization by likelihood maximization. In Uncertainty in Artificial Intelligence (UAI 2008), pages 562–570. AUAI Press, 2008. ISBN 0-9749039-4-9
  Marc Toussaint, Laurent Charlin, and Pascal Poupart
  
• Approximate inference for planning in stochastic relational worlds. In Proc. of the Int. Conf. on Machine Learning (ICML 2009), pages 585–592. ACM, 2009. ISBN 978-1-60558-516-1
  Tobias Lang and Marc Toussaint
  
• Planning with noisy probabilistic relational rules. Journal of Artificial Intelligence Research, 39:1–49, 2010
  Tobias Lang and Marc Toussaint
  
• Task space retrieval using inverse feedback control. In Proc. of the Int. Conf. on Machine Learning (ICML 2011), 2011
  Nikolay Jetchev and Marc Toussaint
  
• Exploration in model-based reinforcement learning by empirically estimating learning progress. In Neural Information Processing Systems (NIPS 2012), 2012
  Manuel Lopes, Tobias Lang, and Marc Toussaint
  
• Exploration in relational domains for model-based reinforcement learning. Journal of Machine Learning Research, 13:3691–3734, 2012
  Tobias Lang, Marc Toussaint, and Kristian Kersting
  
• On stochastic optimal control and reinforcement learning by approximate inference. In Int. Conf. on Robotics Science and Systems (R:SS 2012), 2012
  Konrad Rawlik, Marc Toussaint, and Sethu Vijayakumar
  
• Planning as probabilistic inference. Trends in Cognitive Sciences, 16:485–488, 2012
  Matthew Botvinick and Marc Toussaint
  
• Fast motion planning from experience: Trajectory prediction for speeding up movement generation. Autonomous Robots, January 2013, Volume 34, Issue 1–2, pp 111–127
  Nikolay Jetchev and Marc Toussaint
  
• Discovering relevant task spaces using inverse feedback control. Autonomous Robots, 37, 169-189, 2014
  Nikolay Jetchev and Marc Toussaint