Motivation
Das zuverlässige Greifen und Manipulieren beliebiger Objekte ist eine der zentralen Herausforderungen in der Robotik, von der Produktion bis Medizin. In diesem Kontext sind Regelungsverfahren, die den Griff dynamisch anpassen, noch weitgehend unerforscht. Dadurch kann sich der Roboter flexibel, resilient und effizient an Änderungen in der Umgebung, beim Objekt oder in der Aktivität selbst anpassen. So kann unmittelbar reagiert werden, wenn beispielsweise ein Objekt aus der Hand zu gleiten droht. Eine solche Regelung erfordert nicht nur taktile Sensorik, die Kontakt- und Scherkräfte erfassen kann, sondern auch entsprechende multimodale Modelle aus der Künstlichen Intelligenz (KI), die sensorische Informationen aus mehreren komplementären Quellen integrieren und interpretieren können. Genau hier setzt das Forschungsvorhaben GeniusRobot an.
Ziele und Vorgehen
Das Ziel ist die Entwicklung neuer, interpretierbarer KI-Modelle, mit denen Methoden aus dem Bereich der generativen KI für die Erzeugung von Bildern für die Robotik nutzbar gemacht werden. Zur Planung von Greifbewegungen sollen taktile Sensordaten aus Kameradaten vorhergesagt werden, zunächst statisch und anschließend dynamisch über die Zeit. Umgekehrt werden diese Vorhersagen mit einem weiteren generativen Modell wieder in Kamerabilder zurückgerechnet, sodass die Effekte von Bewegungen des Roboters direkt visualisiert werden können. Dies ermöglicht die Manipulation von verdeckten Objekten, die nur teilweise mit der Kamera erfasst werden können. Die Modelle werden in einem gängigen “Pick and Place”-Szenario erprobt und mittels in diesem Projekt generierter Daten trainiert.
Innovationen und Perspektiven
Ein wesentlicher Entwicklungsschwerpunkt liegt auf der Interpretierbarkeit der Modelle, die für den Einsatz von generativer KI in sicherheitskritischen Umgebungen unerlässlich ist. Perspektivisch erschließen die Ergebnisse damit auch neue Einsatzszenarien in der automatisierten Fertigung und Mensch-Maschine-Interaktion und liefern neue wissenschaftliche Erkenntnisse im Bereich sicherer und multimodaler KI.