Learning to Behave in the Sensorimotor Loop - An Animat Approach
Final Report Abstract
Für die Untersuchungen in diesem Projekt wurden Animaten als Prototypen autonomer Systeme verwendet. Lernen, als ein in der sensomotorischen Schleife ablaufender Prozeß, wurde im Sinne eines Artificial Life Ansatzes verstanden; d.h., zu erlernen waren Verhaltensweisen, die dem System ein Überleben in einer gegebenen Umwelt ermöglichen. Problemstellungen sind also durch die Bereitstellung einer simulierten Umwelt mit entsprechenden Überlebensbedingungen zu formulieren. Es wurde davon ausgegangen, dass Lernen, als Prozeß von erfolgreichen Verhaltensänderungen, in zwei verschiedenen Rückkopplungsschleifen verläuft: In der sensomotorischen Schleife durch die Umwelt (schnelle Dynamik), sowie durch die "physiologische" Schleife durch die Umwelt (langsame Dynamik): Propriozeptorik-Verhaltenskontrolle und Umwelt. Die zweite Schleife bestimmt die Lernziele mit Hilfe homöostatischer innerer Prozesse. Beispiele verwendeter Propriozeptoren: Ladezustand einer Batterie (Hunger), Bumper, Gelenkwinkel, ... (Schmerz). Sie bestimmt ferner solche Situationen, in denen gelernt werden muss. Die Verhaltenskontrolle der Animaten wurde grundsätzlich durch (rekurrente) neuronale Netze realisiert, deren funktionale Eigenschaften dynamischer Natur sein können. Zu erlernen waren zunächst einfache Verhaltensweisen wie Hindernisvermeidung (Exploration) und Lichttropismus (Futter/Gift), sowie Reflexe (mehrbeiniges Laufen). Es wurde ein Verfahren entwickelt und erfolgreich getestet, das die Wirkung der physiologischen Schleife auf das neuronale Kontrollsystem mit Hilfe sog. Neuromodulatoren realisiert, die, beruhend auf Propriozeptorsignalen, sowohl eine Änderung der Synapsenstärken als auch das Öffnen und Schließen von synaptischen Verbindungen ermöglichen. Lernen wurde hier als Prozess verstanden, der nicht allein auf der Plastizität einer Verknüpfungsstruktur, sondern auch auf deren strukturelle Änderung beruht. Da für den hier verfolgten Ansatz bislang keine überzeugenden Plastizitätsregeln bekannt waren wurden verschiedene Arten einer Synapsendynamik auf ihre Fähigkeit hin untersucht, gezielte Verhaltensänderungen hervorzurufen. Ein erstes Verfahren wurde durch sog. selbstregulierende Neuronen realisiert, erforderte aber eine parallele Strukturevolution. Weitere Experimente erprobten Varianten von kovergenten Hebb-artigen Lernregeln. Diese konnten jedoch in der Regel auf lokalen, Excitation und Inhibition kombinierenden funktionalen Strukturen nicht erfolgreich getestet werden. Darüber hinaus wurde eine informationstheoretische Beschreibung autonomen Lernens entwickelt, die auch die propriozeptorischen Effekte in der physiologische Schleife berücksichtigt.
Publications
- Controlling the learning of behaviors in the sensorimotor loop with neuromodulators in selfmonitoring neural networks, ICRA Workshop on Autonomous Learning, Karlsruhe, 2013
C. Rempis, H. Toutounji, and F. Pasemann
- Evaluating neuromodulator controlled stochastic plasticity for learning recurrent neural control networks, in: Proceedings of the 5th International Joint Conference on Computational Intelligence, pp. 489-496, 2013
C. W. Rempis, H. Toutounji, and F. Pasemann
- Self-regulating neurons in the sensorimotor loop, in Advances in Computational Intelligence, LNCS,79, pp. 481-491, Springer, 2013
F. Pasemann
- Behavior control in the sensorimotor loop with short-term synaptic dynamics induced by self-regulating neurons, Frontiers in Neurorobotics, vol. 8, no. 19, 2014
H. Toutounji and F. Pasemann
(See online at https://doi.org/10.3389/fnbot.2014.00019) - Learning Goal-Directed Behavior through Sensory Homeostasis, Bernstein Conference 2014, Göttingen, 2014
H. Toutounji and F. Pasemann
- Autonomous learning needs a second environmental feedback loop, In: Madani K., Dourado A., Rosa A., Filipe J., Kacprzyk J. (eds) Computational Intelligence. Studies in Computational Intelligence, vol 613. Springer, Cham, 2016, pp 455-472
H. Toutounji and F. Pasemann
