AI Grid

Fabriken der Zukunft: Julian Eßer über Reinforcement Learning in der Robotik

Unsere Community-Plattform ermöglicht dir Zugang zu allen Profilen unserer Netzwerk-Mitglieder. Hier kannst du alle Micro Focus Groups einsehen und relevanten Gruppen beitreten. Außerdem kannst du über die Profile unserer Mentor:innen ersten Kontakt aufnehmen und nach erfolgreicher Vernetzung, Unterstützung zu spezifischen Problem-stellungen erhalten. Über die Profile unserer Botschafter:innen können zudem Kontakte
in die jeweiligen Länder hergestellt werden.

Für den aktiven Austausch innerhalb unsere Community nutzen wir Slack. Als AI Grid Mitglied hast du hier beispielsweise Zugang zu den Channels deiner Micro Focus Groups, kannst aber per Dirketnachricht auch mit allen unseren Mitgliedern kommunizieren. Auch die kommenden, exklusiven Events, Empfehlungen zu wissenschaftlichen Papers oder Forschungs- & Postdoc-Stellenangeboten lassen sich hier einsehen. Nutze Slack, um dich mit Peers zu vernetzen und mit unseren Mentor:innen in den direkten, unkomplizierten Austausch zu gehen.

Du hast Fragen zum Netzwerk?

Dann melde dich bei uns und folge uns auf LinkedIn, um dich über die nächste Infoveranstaltung zu informieren.
Wir zeigen dir gerne, wie du unser Netzwerk am besten für dich nutzt.

AI Grid Botschafter:innen

AI Grid Botschafterin in Israel

AI Grid Botschafter in Großbritannien

AI Grid Botschafter in Schweden

AI Grid Botschafter in der Schweiz

AI Grid Botschafterin in den USA (Westküste)

AI Grid Botschafter in Japan (Tokio)

AI Grid Botschafter in Spanien

AI Grid Botschafter für die USA (Ostküste)

AI Grid Botschafterin für Frankreich

Professor an der Universität TU Dortmund

Direktor für Strategische Planung, Fondazione Bruno Kessler

Fabriken der Zukunft: Julian Eßer über Reinforcement Learning in der Robotik

In einer schnelllebigen Welt, die von ständigen technologischen Fortschritten geprägt ist, vollziehen sich auch in der Robotik transformative Veränderungen. Intelligente Roboter sind immer öfter in der Lage, komplexe Aufgaben mit bisher unvorstellbarer Präzision und Autonomie zu bewältigen. Diese Entwicklungen markieren den Beginn einer neuen Ära. Julian Eßer, Forscher auf dem Gebiet der Robotik, teilt seine Expertise zu aktuellen Forschungen, Trends und zukünftigen Perspektiven im Gespräch mit AI Grid-Communications Managerin Franziska Peters. Er diskutiert, wie Roboter geschult werden, welche Möglichkeiten neue KI-Methoden eröffnen und welche Herausforderungen oder auch Befürchtungen damit verbunden sind.

Zur Person: Julian Eßer forscht am Fraunhofer Institut für Materialfluss und Logistik (IML) in Dortmund, ist Koordinator des Forschungsbereiches Embodied AI am Lamarr-Institut für Maschinelles Lernen und Künstliche Intelligenz und Mitglied des AI Grid. Seine Forschung konzentriert sich auf die Verhaltenssteuerung dynamischer Roboter und die Weiterentwicklung des Reinforcement Learnings.

Wie kamst Du zur Robotik und was fasziniert dich an KI?

Meine Begeisterung für Robotik entstand während meines Maschinenbaustudiums und vertiefte sich im Masterstudium der Robotik und Informatik. Mich fasziniert, wie Roboter sich in ihrer Umgebung zurechtfinden, Aufgaben planen und mit ihrer Umgebung interagieren – all das durch KI ermöglicht. Heute bewegen wir uns weg von vorprogrammierten Industrierobotern hin zu flexiblen, intelligenten Systemen, die auf Neues reagieren und eigenständig agieren können. Für mich liegt der Reiz darin, KI in die physische Welt zu integrieren, um intelligente Roboter zu entwickeln, die nicht auf eine Branche beschränkt sind, sondern in vielen Bereichen eingesetzt werden können.

„Wichtig ist die Integration von Robotern, die in der Lage sind, ähnlich wie Menschen mit ‘gesundem Menschenverstand‘ zu handeln.“

Welche Fortschritte siehst Du in der Robotik, insbesondere im industriellen Einsatz?

Die Robotik, vor allem in Kombination mit KI, hat beachtliche Fortschritte gemacht. Am Fraunhofer IML arbeiten wir daran, Logistikprozesse durch den Einsatz intelligenter Roboter zu automatisieren. Diese Entwicklung erstreckt sich auch auf die Produktion und andere Industriezweige. Der schnelle Transfer von Forschungsergebnissen in die Praxis wird durch ein starkes Interesse aus der Industrie angetrieben. Die Industrie zeigt großes Interesse an der Robotik, was viele Möglichkeiten eröffnet. Gleichzeitig müssen wir uns mit der Entwicklung neuer Sicherheitsstandards befassen. Wichtig ist die Integration von Robotern, die in der Lage sind, ähnlich wie Menschen mit ‚gesundem Menschenverstand‘ zu handeln.

Wie gehst Du die Herausforderungen in der realen Anwendung an?

In der realen Welt gibt es unzählige Variablen, die in der Robotik berücksichtigt werden müssen. Regelbasierte, fest einprogrammierte Abläufe reichen nicht aus, wenn Roboter in dynamischen Umgebungen mit Menschen interagieren. Wir nutzen Machine Learning, insbesondere Reinforcement Learning, um Robotern bei der Entscheidungsfindung zu helfen. Ein Schlüsselaspekt unserer Arbeit ist die simulationsbasierte KI, die es uns ermöglicht, physikalisch realistische Umgebungen zu simulieren und so die Roboter auf unvorhersehbare Situationen vorzubereiten.

„Die Roboter lernen durch einen Prozess von Versuch und Irrtum, wobei sie auf unvorhergesehene Ereignisse und Herausforderungen in diesen simulierten Welten reagieren.“

Kannst Du den Trainingsprozess in der virtuellen Umgebung genauer beschreiben?

Der Trainingsprozess unserer Roboter findet in einer hochentwickelten virtuellen Simulation statt, die darauf ausgelegt ist, eine Vielzahl realistischer Szenarien nachzubilden. Diese Simulation erzeugt kontinuierlich neue, zufällige Umgebungen – von einfachen Hindernissen bis hin zu komplexen Interaktionen mit Menschen. Das Ziel ist, eine möglichst realitätsnahe Erfahrung zu schaffen. Die Roboter lernen durch einen Prozess von Versuch und Irrtum, wobei sie auf unvorhergesehene Ereignisse und Herausforderungen in diesen simulierten Welten reagieren.

Anstatt die Roboter auf eine begrenzte Anzahl von vordefinierten Szenarien zu trainieren, ermöglicht die Domänen-Randomisierung die Generierung einer nahezu unendlichen Anzahl von Situationen. Auf diese Weise lernen die Roboter nicht nur die Bewältigung spezifischer Aufgaben, sondern auch das flexible und adaptive Reagieren auf neue und unerwartete Situationen. Dieser Ansatz hilft den Robotern, ein tieferes Verständnis und eine bessere Anpassungsfähigkeit zu entwickeln, was sie in der realen Welt robuster und zuverlässiger macht.

Während dieses Trainingsprozesses sammeln die Roboter wertvolle Erfahrungen, die sie intelligenter machen und ihnen ermöglichen, effektivere Entscheidungen zu treffen. Diese Intelligenz und erlernten Fähigkeiten sind nicht auf eine einzelne Maschine beschränkt; sie können auf andere Roboterplattformen übertragen werden, was den gesamten Trainingsprozess skalierbar und effizient macht.

„Wir entwickeln ein hybrides Lernkonzept, in dem wir Expert:innenwissen, natürlichen Menschenverstand und mathematische Regeln direkt in den Lernprozess integrieren.“

Ist der Lernprozess der Roboter in einer virtuellen Umgebung mit dem Lernen eines Kleinkindes zu vergleichen?

Der Lernprozess bei Robotern ähnelt tatsächlich in vielerlei Hinsicht dem Ausprobieren bei Kleinkindern. Kinder lernen zu laufen, indem sie fallen und es dann ein wenig anders versuchen. Bei Robotern ist es ähnlich. Sie lernen in der virtuellen Welt, sich von A nach B zu bewegen, Pakete aufzunehmen und an Menschen zu übergeben. Sie probieren verschiedene Methoden aus und erhalten eine Belohnung, wenn sie ihre Aufgabe gut erfüllen. Dieser Lernprozess ist ein fortlaufender Zyklus, der es Robotern ermöglicht, kontinuierlich bessere Entscheidungen zu treffen und ihre Aufgaben effizienter zu lösen.

„Wir bewegen uns weg von statischen Robotern hin zu intelligenteren, vielseitigeren Modellen.“

Wie schätzt Du die zukünftige Entwicklung der Robotik hinsichtlich ihrer Kosten und der Integration in den Alltag ein?

Die Robotik entwickelt sich stetig weiter und wird zunehmend erschwinglicher. Mit der Skalierung und der Ausweitung auf verschiedene Anwendungsbereiche sinken die Preise. Wir bewegen uns weg von statischen Robotern hin zu intelligenteren, vielseitigeren Modellen. In naher Zukunft könnten Roboter ein normaler Bestandteil unseres Lebens werden, nicht nur in der Industrie, sondern auch im Alltag. Die Technologie wird immer zugänglicher.

Vielen Dank, Julian, für die aufschlussreichen Einblicke in deine Arbeit und die Zukunft der Robotik. Gibt es abschließende Gedanken, die Du mit uns teilen möchtest?

Danke für das Gespräch. Ich glaube, wir stehen am Anfang einer aufregenden Ära in der Robotik, in der KI eine zentrale Rolle spielen wird. Die Zukunft wird vielseitige, intelligente Roboter bringen, die nicht nur in der Industrie, sondern auch in unserem täglichen Leben eine Rolle spielen. Ich freue mich darauf, zu sehen, wie unsere Forschung diese Entwicklung weiter vorantreibt.