Motivation
Menschen nehmen ihre Umgebung mit all ihren Sinnen wahr, zum Beispiel durch Sehen, Hören und Tasten. Diese sensorischen Informationen werden dann zusammen mit Vorwissen verarbeitet, um ein allgemeines Verständnis der Außenwelt zu schaffen. Genau diese vollumfängliche Wahrnehmung soll auch beim Einsatz von Künstlicher Intelligenz (KI) nachgeahmt werden, um von ihr noch bessere und verlässlichere Unterstützung und Empfehlungen erhalten zu können. Eine beispielhafte Anwendung ist dabei das maschinelle Verstehen von Videos. Bisher konzentrieren sich Verfahren aber auf die visuelle Ebene. Dabei werden essentielle Informationen etwa durch Ton oder Textinhalte im Bild nicht berücksichtigt. Genau hier setzt die KI-Nachwuchsgruppe „MuMoL“ an.
Ziele und Vorgehen
Für eine umfassende und automatische Videoanalyse werden im Vorhaben neuartige Archtikturen und sogenannte multimodale Lernverfahren weiterentwickelt. Unter gezielter Ausnutzung der topologischen, also mathematisch räumlichen, Eigenschaften zwischen Datentypen, könnte das Verständnis längerer Videosequenzen erfolgreich umgesetzt werden. Hierbei wird auch die intelligente Erweiterung bereits existierender, sehr leistungsstarker, großer Sprach- und Bildmodelle untersucht, um die beschriebene Lücke zwischen der Audio- und der visuellen Modalität in Videodaten zu schließen.
Innovationen und Perspektiven
Die automatisierte Auswertung von Videos spielt in geradezu jeder Domäne eine relevante Rolle. Ein vollumfänglicheres Verständnis des Videoinhalts, beispielsweise durch die in MuMoL neuartige Einbettung verschiedener Modalitäten, hat daher starkes und breites Potenzial die Performance von KI-Systemen zu steigern. Die gesammelten Erfahrungen und Erkenntnisse werden beispielsweise durch einen später frei zugänglichen Datensatz sowohl der Forschung als auch der außerwissenschaftlichen Gesellschaft zur Verfügung gestellt.