Motivation
Die automatische Analyse von Videodaten hat sich zu einem der zentralen Forschungsthemen der letzten Jahre in der Künstlichen Intelligenz entwickelt. Allerdings lassen sich Ansätze zur Klassifikation von Bildern bisher nur ansatzweise auf die Videoanalyse übertragen. Ein Grund dafür ist, dass Menschen ihre Umwelt als Kombination räumlich-zeitlicher Konzepte wahrnehmen und interpretieren. Es ist z.B. verständlich, dass eine Tasse auf dem Tisch steht, weil jemand sie dorthin gestellt hat. Solche für das Verständnis von Videodaten relevanten räumlich-zeitlichen Konzepte, die nicht nur die Frage nach dem was, sondern auch nach dem wann und wo beantworten, brauchen daher Ansätze, die über die reine Bilderkennung hinausgehen. Allerdings sind solche Kategorien und deren Abhängigkeiten in der Regel weniger klar definiert.
Ziele und Vorgehen
Das Projekt STCL bringt die Forschung im Bereich der Videoanalyse voran, indem neuronale Netze trainiert werden, die diese Aspekte, „Was passiert wann und wo in einem Video?“, erlernen und automatisch erkennen können. Verwendet wird dabei das sogenannte multimodale selbstüberwachte Lernen, das es erlaubt Konzepte wie Objekte und Handlungen ohne menschliche Annotation zu lernen. Dazu werden semantische Merkmale innerhalb mehrerer Modalitäten, wie z.B. Text, Video, und Audio, erfasst und miteinander abgeglichen. Die verschiedenen Modalitäten werden dazu in eine gemeinsame hochdimensionale Darstellung projiziert und können dort z.B. anhand ihrer Nachbarschaftsverhältnisse verglichen werden. Somit wird eine Annotation einzelner Daten überflüssig. Erst dies ermöglicht es, Modelle auf genügend großen Datenmengen zu trainieren. Darüber hinaus lässt sich anhand der Aktivierungen innerhalb des neuronalen Netzes erkennen, wann und wo z.B. eine bestimmte Handlung stattgefunden hat oder wo sich ein Objekt befindet.
Innovationen und Perspektiven
Mit der angestrebten Lösung sind viele Anwendungen möglich: Autos können das Verhalten der Fahrer auf Ablenkungen überwachen, Smart Homes Gefahrensituationen für Bewohner oder Sicherheitstechnik kritisches Verhalten an Baustellen erkennen. Darüber hinaus bietet das angestrebte System neue Möglichkeiten im Hinblick auf erklärbare KI-Modelle, da es in der Lage ist, die für eine bestimmte Entscheidung wichtige Region darzustellen und damit nachzuweisen, ob das Ergebnis auf korrekten Informationen beruht. So können solche Modelle zur Entscheidungsunterstützung auch in kritischen Bereichen wie z.B. in der Medizin erprobt werden.