Fabriken der Zukunft: Julian Eßer über Reinforcement Learning in der Robotik

In einer schnelllebigen Welt, die von ständigen technologischen Fortschritten geprägt ist, vollziehen sich auch in der Robotik transformative Veränderungen. Intelligente Roboter sind immer öfter in der Lage, komplexe Aufgaben mit bisher unvorstellbarer Präzision und Autonomie zu bewältigen. Diese Entwicklungen markieren den Beginn einer neuen Ära. Julian Eßer, Forscher auf dem Gebiet der Robotik, teilt seine Expertise zu aktuellen Forschungen, Trends und zukünftigen Perspektiven im Gespräch mit AI Grid-Communications Managerin Franziska Peters. Er diskutiert, wie Roboter geschult werden, welche Möglichkeiten neue KI-Methoden eröffnen und welche Herausforderungen oder auch Befürchtungen damit verbunden sind.

Zur Person: Julian Eßer forscht am Fraunhofer Institut für Materialfluss und Logistik (IML) in Dortmund, ist Koordinator des Forschungsbereiches Embodied AI am Lamarr-Institut für Maschinelles Lernen und Künstliche Intelligenz und Mitglied des AI Grid. Seine Forschung konzentriert sich auf die Verhaltenssteuerung dynamischer Roboter und die Weiterentwicklung des Reinforcement Learnings.

Wie kamst Du zur Robotik und was fasziniert dich an KI?

Meine Begeisterung für Robotik entstand während meines Maschinenbaustudiums und vertiefte sich im Masterstudium der Robotik und Informatik. Mich fasziniert, wie Roboter sich in ihrer Umgebung zurechtfinden, Aufgaben planen und mit ihrer Umgebung interagieren – all das durch KI ermöglicht. Heute bewegen wir uns weg von vorprogrammierten Industrierobotern hin zu flexiblen, intelligenten Systemen, die auf Neues reagieren und eigenständig agieren können. Für mich liegt der Reiz darin, KI in die physische Welt zu integrieren, um intelligente Roboter zu entwickeln, die nicht auf eine Branche beschränkt sind, sondern in vielen Bereichen eingesetzt werden können.

„Wichtig ist die Integration von Robotern, die in der Lage sind, ähnlich wie Menschen mit ‘gesundem Menschenverstand‘ zu handeln.“

Welche Fortschritte siehst Du in der Robotik, insbesondere im industriellen Einsatz?

Die Robotik, vor allem in Kombination mit KI, hat beachtliche Fortschritte gemacht. Am Fraunhofer IML arbeiten wir daran, Logistikprozesse durch den Einsatz intelligenter Roboter zu automatisieren. Diese Entwicklung erstreckt sich auch auf die Produktion und andere Industriezweige. Der schnelle Transfer von Forschungsergebnissen in die Praxis wird durch ein starkes Interesse aus der Industrie angetrieben. Die Industrie zeigt großes Interesse an der Robotik, was viele Möglichkeiten eröffnet. Gleichzeitig müssen wir uns mit der Entwicklung neuer Sicherheitsstandards befassen. Wichtig ist die Integration von Robotern, die in der Lage sind, ähnlich wie Menschen mit ‚gesundem Menschenverstand‘ zu handeln.

Wie gehst Du die Herausforderungen in der realen Anwendung an?

In der realen Welt gibt es unzählige Variablen, die in der Robotik berücksichtigt werden müssen. Regelbasierte, fest einprogrammierte Abläufe reichen nicht aus, wenn Roboter in dynamischen Umgebungen mit Menschen interagieren. Wir nutzen Machine Learning, insbesondere Reinforcement Learning, um Robotern bei der Entscheidungsfindung zu helfen. Ein Schlüsselaspekt unserer Arbeit ist die simulationsbasierte KI, die es uns ermöglicht, physikalisch realistische Umgebungen zu simulieren und so die Roboter auf unvorhersehbare Situationen vorzubereiten.

„Die Roboter lernen durch einen Prozess von Versuch und Irrtum, wobei sie auf unvorhergesehene Ereignisse und Herausforderungen in diesen simulierten Welten reagieren.“

Kannst Du den Trainingsprozess in der virtuellen Umgebung genauer beschreiben?

Der Trainingsprozess unserer Roboter findet in einer hochentwickelten virtuellen Simulation statt, die darauf ausgelegt ist, eine Vielzahl realistischer Szenarien nachzubilden. Diese Simulation erzeugt kontinuierlich neue, zufällige Umgebungen – von einfachen Hindernissen bis hin zu komplexen Interaktionen mit Menschen. Das Ziel ist, eine möglichst realitätsnahe Erfahrung zu schaffen. Die Roboter lernen durch einen Prozess von Versuch und Irrtum, wobei sie auf unvorhergesehene Ereignisse und Herausforderungen in diesen simulierten Welten reagieren.

Anstatt die Roboter auf eine begrenzte Anzahl von vordefinierten Szenarien zu trainieren, ermöglicht die Domänen-Randomisierung die Generierung einer nahezu unendlichen Anzahl von Situationen. Auf diese Weise lernen die Roboter nicht nur die Bewältigung spezifischer Aufgaben, sondern auch das flexible und adaptive Reagieren auf neue und unerwartete Situationen. Dieser Ansatz hilft den Robotern, ein tieferes Verständnis und eine bessere Anpassungsfähigkeit zu entwickeln, was sie in der realen Welt robuster und zuverlässiger macht.

Während dieses Trainingsprozesses sammeln die Roboter wertvolle Erfahrungen, die sie intelligenter machen und ihnen ermöglichen, effektivere Entscheidungen zu treffen. Diese Intelligenz und erlernten Fähigkeiten sind nicht auf eine einzelne Maschine beschränkt; sie können auf andere Roboterplattformen übertragen werden, was den gesamten Trainingsprozess skalierbar und effizient macht.

„Wir entwickeln ein hybrides Lernkonzept, in dem wir Expert:innenwissen, natürlichen Menschenverstand und mathematische Regeln direkt in den Lernprozess integrieren.“

Ist der Lernprozess der Roboter in einer virtuellen Umgebung mit dem Lernen eines Kleinkindes zu vergleichen?

Der Lernprozess bei Robotern ähnelt tatsächlich in vielerlei Hinsicht dem Ausprobieren bei Kleinkindern. Kinder lernen zu laufen, indem sie fallen und es dann ein wenig anders versuchen. Bei Robotern ist es ähnlich. Sie lernen in der virtuellen Welt, sich von A nach B zu bewegen, Pakete aufzunehmen und an Menschen zu übergeben. Sie probieren verschiedene Methoden aus und erhalten eine Belohnung, wenn sie ihre Aufgabe gut erfüllen. Dieser Lernprozess ist ein fortlaufender Zyklus, der es Robotern ermöglicht, kontinuierlich bessere Entscheidungen zu treffen und ihre Aufgaben effizienter zu lösen.

„Wir bewegen uns weg von statischen Robotern hin zu intelligenteren, vielseitigeren Modellen.“

Wie schätzt Du die zukünftige Entwicklung der Robotik hinsichtlich ihrer Kosten und der Integration in den Alltag ein?

Die Robotik entwickelt sich stetig weiter und wird zunehmend erschwinglicher. Mit der Skalierung und der Ausweitung auf verschiedene Anwendungsbereiche sinken die Preise. Wir bewegen uns weg von statischen Robotern hin zu intelligenteren, vielseitigeren Modellen. In naher Zukunft könnten Roboter ein normaler Bestandteil unseres Lebens werden, nicht nur in der Industrie, sondern auch im Alltag. Die Technologie wird immer zugänglicher.

Vielen Dank, Julian, für die aufschlussreichen Einblicke in deine Arbeit und die Zukunft der Robotik. Gibt es abschließende Gedanken, die Du mit uns teilen möchtest?

Danke für das Gespräch. Ich glaube, wir stehen am Anfang einer aufregenden Ära in der Robotik, in der KI eine zentrale Rolle spielen wird. Die Zukunft wird vielseitige, intelligente Roboter bringen, die nicht nur in der Industrie, sondern auch in unserem täglichen Leben eine Rolle spielen. Ich freue mich darauf, zu sehen, wie unsere Forschung diese Entwicklung weiter vorantreibt.

Gib Deiner Karriere einen Kick !

AI Grid Botschafter:innen

AI Grid Botschafterin in Israel

AI Grid Botschafter in Großbritannien

AI Grid Botschafter in Schweden

AI Grid Botschafter in der Schweiz

AI Grid Botschafterin in den USA (Westküste)

AI Grid Botschafter in Japan (Tokio)

AI Grid Botschafter in Spanien

AI Grid Botschafter für die USA (Ostküste)

de_DEGerman