Motivation
Die Verarbeitung natürlicher Sprache und die Verarbeitung von Sprache zusammen mit anderen Modalitäten, wie z.B. dem Sehen, stellen Kerntechnologien für ein breites Spektrum von Anwendungen mit hoher Relevanz für Industrie und Gesellschaft dar. Fast in jedem Bereich menschlicher Tätigkeit werden wir uns einer besseren Unterstützung durch Maschinen erfreuen können, wenn die Maschinen Sprache und Sprache-Seh-Eingaben verarbeiten können. Die Bereiche der Verarbeitung natürlicher Sprache (NLP) und der Verarbeitung natürlicher Sprache und des Sehens (NLVP) haben in letzter Zeit dank der Anwendung des maschinellen Lernens und besonders des Deep Learnings immense Fortschritte gemacht. Diese Ansätze sind jedoch auf große Mengen von Trainingsdaten angewiesen, um akzeptable Ergebnisse zu erzielen. Die Erstellung von Trainingsdaten ist oft sehr arbeitsintensiv und daher kostspielig. Jedoch kann die Integration von Vorwissen die für das Training benötigte Datenmenge reduzieren und gleichzeitig zu besseren Ergebnisse führen. Die Forschung im Vorhaben IMPRESS baut genau darauf auf.
Ziele und Vorgehen
Durch die Integration von semantischem Wissen (Bedeutung von Wörtern bzw. Sätzen) in sogenannte Einbettungen (Einschub sprachlicher Einheiten) sollen bessere Modelle aus kleineren Datensätzen abgeleitet und damit letztlich Aufwand eingespart werden. Praktisch alle NLP-Systeme verwenden heutzutage Wort- und Satzeinbettungen. In ähnlicher Weise können bei der Verarbeitung von Sprache in Kombination mit visuellen Eingaben multimodale Einbettungen verwendet werden. Obwohl Einbettungen eine Form von semantischer Verwandtschaft verkörpern, bleibt diese oft unklar. Dieser Verlust von präziser semantischer Deutlichkeit kann sich auf nachgelagerte Aufgaben auswirken. Ziel von IMPRESS ist es, die Integration von semantischem Wissen in sprachliche und multimodale Einbettungen zu untersuchen und insbesondere die Auswirkungen auf ausgewählte nachgelagerte Aufgaben hierbei zu berücksichtigen.
Innovationen und Perspektiven
IMPRESS wird auch Open-Source-Software und lexikalische Ressourcen entwickeln, mit Schwerpunkt auf Videoaktivitätserkennung als praktische Anwendung. IMPRESS ist ein gemeinsames Projekt des DFKI und des französischen Forschungsinstituts INRIA. Es unterstützt die nationalen Anstrengungen zur deutsch-französischen Kooperation im Bereich Künstlicher Intelligenz.