Motivation
Mit der zunehmenden Entwicklung und Verbreitung tragbarer Aufzeichnungsgeräte – wie Smartglasses und Bodycams – hat auch die Verfügbarkeit und Rolle von Videos aus dem egozentrischen Blickwinkel an Bedeutung gewonnen. Ein konkretes Beispiel sind Echtzeitsysteme zur Überwachung von sich ständig ändernden Parametern wie Vitalfunktionen. Die Anwendung von Methoden der Künstlichen Intelligenz (KI) hat hier enormes Potenzial, die Zusammenarbeit zwischen Mensch und Maschine aus dieser essentiellen Sichtweise zu verbessern. Dahingehende Ansätze konzentrieren sich aktuell aber hauptsächlich auf reine Hand-Objekt-Abläufe innerhalb isolierter Tätigkeiten. Realitätsnahe Situationen und Handlungen fehlen. Genau hier setzt die KI-Nachwuchsgruppe „UDance“ an.
Ziele und Vorgehen
Erstmalig wird in UDance vollumfängliches und vereinheitlichtes Wissen über die komplexen Wechselwirkungen zwischen Umwelt, Menschen und Gegenständen aus der egozentrischen Perspektive Form eines neuartigen „Foundation Model“ gebündelt. Dadurch könnte die komplexe und dynamische Beziehung zwischen menschlichen Absichten und Objekten in diversen Umgebungen verlässlicher modelliert und sogar vorhergesagt werden. Für die Umsetzung werden 3D-Hand und Körperbewegungen rekonstruiert und anschließend direkt in das Maschinelle Lernverfahren in einem 4D-Computer Vision Model integriert.
Innovationen und Perspektiven
In UDance wird sowohl die menschen- als auch objektzentrierte Perspektive beschrieben, erlernt und anschließend vorhergesagt. Diese innovativen Verfahren und das darunterliegende, umfassende Foundation Model werden dann prototpyisch auf einem Gerät der „Augmented Reality“ getestet. Eine Übertragung auf andere Domänen, wie dem Ge-sundheitswesen und der Robotik, ist im weiteren Verlauf möglich.