Motivation
Menschliche Aktivitäten (engl. Human activity recognition, HAR) mit tragbaren Sensoren (Fitnesstracker, intelligente Kleidung, usw.) zu erkennen, ist seit zwei Jahrzehnten ein florierendes akademisches Forschungsgebiet. Da tragbare Sensoren immer allgegenwärtiger werden, ist zu erwarten, dass HAR-Systeme zunehmend aus dem Labor in langfristige, reale Anwendungen übernommen werden. Insbesondere ist zu erwarten, dass HAR durch die zur Verfügung stehenden großen Sensordatenmengen von den Fortschritten der Deep-Learning-Techniken in gleicher Weise profitieren kann, wie die Disziplinen Computer Vision und Spracherkennung. Die bisherigen Fortschritte durch die Anwendung von Deep-Learning Methoden zur HAR sind bisher weitaus geringer als in den anderen Disziplinen. So beschränken sich die meisten HAR-Anwendungen auf das Erkennen von relativ einfachen Aktivitäten, wie Fortbewegungsarten (Schrittzähler). Das Hauptproblem liegt hierbei in der vorhandenen Datenbasis zum Trainieren der KI-Methoden. Gerade die Annotation der Daten, also welches Sensorbild gehört zu welcher Bewegung, ist sehr aufwändig. Während Bilder meist unproblematisch zu beschreiben sind, kann die Interpretation von Sensorrohdaten selbst für Experten eine Herausforderung darstellen.
Ziele und Vorgehen
Daher sollen im Vorhaben VidGenSense Methoden erforscht werden, die den arbeitsintensiven Annotationsvorgang umgehen. Somit wäre es bei der Entwicklung einer neuen HAR-Anwendung nicht mehr notwendig, große Mengen an realen Sensordaten von Benutzern, die tatsächlich Sensoren tragen, aufzuzeichnen und zu annotieren. Stattdessen wird es durch VidGenSense möglich sein, zunächst Videos zu den zu erkennenden Aktivitäten aus geeigneten Online-Quellen heranzuziehen, die dann in sogenannte synthetische Sensordaten umgewandelt werden. Wenn die Aktivitäten in den Videos nicht bereits annotiert sind, könnten die Videos, statt der Sensordaten annotiert werden.
Innovationen und Perspektiven
Das DFKI konnte in Vorarbeiten bereits zeigen, dass es prinzipiell möglich ist, aus diesen Videos synthetische Sensordaten zu erzeugen. Im Rahmen von VidGenSense sollen diese Methoden geschärft und um physikalische Modelle der Sensoren und der Aktivitäten erweitert werden. Damit soll das Vorhaben den Grundstein für innovative tragbare Sensorik legen, die den Menschen beim gesundheitsbewussten Leben in Freizeit und Beruf unterstützen kann.