Einsatz von Reinforcement Learning zur automatisierten Optimierung eines Spritzgießprozesses während der Produktion

• Antragsteller: Professor Dr.-Ing. Reinhard Schiffers
• Fachliche Zuordnung: Kunststofftechnik
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 548155694

Die Motivation für dieses Forschungsvorhaben ergibt sich aus der Tatsache, dass der Spritzgießprozess zwar als sehr reproduzierbar gilt, die Qualität der Spritzgießprodukte jedoch durch interne und externe Störgrößen wie Chargenschwankungen des Rohstoffes, Temperaturschwankungen in der Umgebung der Maschinen etc. nicht konstant ist. Die Nachjustierung der Maschineneinstellung erfolgt manuell durch „trial-and-error“ oder erfahrungsbasiert durch den Maschinenbediener. Neben dem notwendigen Einsatz von erfahrenem Fachpersonal kann dies auch einen Eingriff des Maschinenbedieners in den Prozess nach der Schlechtteilproduktion bedeuten. In der aktuellen Forschung wird daher der Einsatz von datenbasierten Anwendungen wie maschinellen Lernverfahren zur Vorhersage der Bauteilqualität untersucht. Der Fokus liegt dabei bisher auf dem Einsatz von unüberwachten und überwachten Lernverfahren. Eine Alternative zu diesen beiden Verfahren ist das Reinforcement Learning. Reinforcement Learning ist eine eigenständige Kategorie des maschinellen Lernens, bei der ein Agent durch Interaktion mit seiner Umwelt selbstständig Strategien entwickelt. Dabei verfolgt der Agent das Ziel, die bestmögliche Belohnung für sein Problemlösungsverhalten zu erhalten. Die Datensätze werden dynamisch erzeugt und das Lernverfahren entwickelt selbstständig eine Handlungsstrategie, die zur Lösung eines Problems innerhalb einer zuvor definierten Umgebung führt. Übergeordnetes Ziel des Forschungsvorhabens ist es, den Spritzgießprozess mit Hilfe eines Reinforcement-Learning-Ansatzes selbstständig so zu regeln, dass qualitätsrelevante Prozessparameter automatisch erkannt und optimiert werden. Die Qualität wird in diesem Forschungsvorhaben über das Bauteilgewicht definiert, da dieses mit vielen Qualitätsparametern von Formteilen korreliert und präzise und robust erfasst werden kann. Teilanforderungen an das Forschungsprojekt sind die Verbesserung der Bauteilqualität bei möglichst geringer Datengenerierung und geringem Ressourceneinsatz. Um das Gesamtziel zu erreichen, können zwei Teilziele definiert werden. Zum einen erfolgt die methodische Entwicklung eines Reinforcement-Learning-Ansatzes für den Einsatz im Spritzgießprozess. Dieser Prozess erfolgt Offline, d.h. ohne reale Bauteilproduktion an der Spritzgießmaschine. Der zweite Schritt ist die Online-Phase und beinhaltet die technische Umsetzung und Optimierung des entwickelten Reinforcement-Learning-Ansatzes an der realen Spritzgießmaschine. Die in diesem Forschungsvorhaben mit dem Reinforcement-Learning-Ansatz generierten Daten werden zur Inline-Qualitätsregelung eines Spritzgießprozesses verwendet.

• DFG-Verfahren: Sachbeihilfen