Clusterkompetenz in Produktion und Logistik: ASIM-Fachtagung 2021
Als größte Produktions- und Logistik-Simulationskonferenz Europas stellt die ASIM-Fachtagung alle zwei Jahre zukunftsweisende Trends und aktuelle Entwicklungen, wissenschaftliche Arbeiten und interessante industrielle Anwendungen vor. Von Ressourceneffizienz- und Digitalisierungsthemen bis hin zur virtuellen Inbetriebnahme und Assistenz werden verschiedene Aspekte diskutiert, die für die Verwendung von Simulationen für Planung, Inbetriebnahme und den Betrieb von Fabriken und Logistiksystemen relevant sind. Marco Kemmerling vom Cybernetics Lab hat vom 15-17 September an der virtuellen ASIM 2021 teilgenommen und unter dem Titel „Towards Production-Ready Reinforcement Learning Scheduling Agents: A Hybrid Two-Step Training Approach Based on Discrete-Event Simulations“ seine Arbeit vorgestellt. Die Konferenz fand in diesem Jahr zum 19. Mal statt.
Welche Eindrücke haben Sie persönlich von der Konferenz mitgenommen?
Die Konferenz zieht Forscher an, welche mit Simulationen im Kontext von Produktion und Logistik arbeiten. Insbesondere sind hier auch die Themen Produktionsplanung und -Steuerung sowie Werkstattfertigung vertreten. Nach Besuch der Konferenz lässt sich klar sagen, dass viele Forscher ähnliche Probleme im Umgang mit Simulationen identifizieren. Besonders der Einsatz von datengetriebenen Modellen, welche einen weniger zeitintensiven Ersatz für Simulationen darstellen und deren systematische Ableitung durch Data Farming ist ein weit diskutiertes Thema.
Wie kann man Ihr Vortragsthema kurz herunterbrechen und worin liegt die Relevanz für die wissenschaftliche Community?
Im Einsatz von Reinforcement Learning ist man in der Regel auf die Nutzung von Simulationen angewiesen. Im Idealfall nutzt man dafür Simulationen, welche bereits im jeweiligen Anwendungsfall im Einsatz sind, um einen leichten Transfer der Forschung in die Praxis zu gewährleisten. Leider sind solche Simulationen häufig nicht direkt für den Einsatz von Reinforcement Learning geeignet, sodass diese zunächst durch Erstellung einer Schnittstelle nutzbar gemacht werden müssen. Dies bringt aber zusätzlichen Overhead (Zeit) mit sich, welcher das Training von Reinforcement Learning Agenten stark verlangsamt.
Unser Beitrag ist daher die Einführung eines mehrstufigen Trainingskonzeptes, in welchem ein Agent zunächst in einer selbsterstellten, maßgeschneiderten Simulation trainiert wird, welche speziell für den Einsatz von Reinforcement Learning geeignet ist und die eigentliche Zielsimulation möglichst gut abbildet. Der Großteil des Trainings findet dann in dieser Simulation statt. Der so trainierte Agent wird dann in die Zielsimulation transferiert und muss hier nur noch kurz nachtrainiert werden um etwaige Differenzen zwischen den Simulationen zu kompensieren. Der Vorteil liegt darin, dass der Umfang des Trainings in der langsameren Zielsimulation stark reduziert wird, aber trotzdem eine Kompatibilität mit dieser gewährleistet wird.
Wie ist Ihr Forschungsthema in den Komplex IoP eingebettet?
Das Thema wird im Workstream B3.II im Use Case "Short-term Production Planning and Control" bearbeitet. Dort werden Reinforcement Learning Agenten zur Planung in der Werkstattfertigung genutzt. Die Agenten können hier auch in der kommerziellen Simulationssoftware Plant Simulation eingesetzt werden, das Training mit dieser ist aber zu zeitintensiv. Daher wird dieses größtenteils in einer eigens entwickelten Python-Simulation durchgeführt.
Wie bewerten Sie die Umsetzung eines solchen Online-Formats in Corona-Zeiten und welchen Aspekt physischer Konferenzen vermissen Sie am meisten?
Die Konferenz war wie üblich in Sessions organisiert, wobei jede Session einen eigenen Breakoutraum hatte. Die Sessions waren gut besucht und im Anschluss an jeden Vortrag gab es eine rege Teilnahme an den Diskussionen. Zwischen den Sessions gab es Pausen, welche in Wonder durchgeführt worden sind, sodass man auch dort noch einmal die Gelegenheit hatte ins Gespräch zu kommen. Zur Kompensation des virtuellen Formats hat die Konferenz außerdem vorab ein kleines Care-Paket verschickt, in welchem Schlüsselanhänger, Snacks, etc. sowie drei Biere enthalten waren. Die Biere wurden dann Abends gemeinsam in Wonder unter Anleitung eines professionellen Biersommeliers verkostet. Insgesamt haben sich die Veranstalter also jede Mühe gegeben, die Konferenz trotz der Umstände möglichst gut umzusetzen. Das hat meines Erachtens auch gut funktioniert, was nur möglich war, weil auch die Teilnehmer sich auf das Format eingelassen haben. Networking funktioniert nach wie vor am besten in Präsenz. Abgesehen davon ist es in physischen Konferenzen leichter sich voll und ganz auf die Konferenz zu konzentrieren. Bei virtuellen Konferenzen neigt man eher dazu auch noch andere Arbeitsaufgaben gleichzeitig zu erledigen.