Motivation
Durch den Erfolg im Bereich des Maschinellen Lernens sowie auch in kommerziellen Anwendungen hat Deep Learning in der jüngeren Vergangenheit viel Aufmerksamkeit erfahren. Dadurch sind in diesem Themenfeld ein sehr große Menge von verschiedenen Netzwerktypen, Architekturen, Modulen, Trainingsmethoden und Datensätzen entstanden, bei der es schwer ist, einen Überblick zu behalten und z.B. für bestimmte visuelle Erkennungsaufgaben ein state-of-the-art Deep Learning System zu bauen und zu konfigurieren.
Ziele und Vorgehen
Obwohl der Deep Learning Ansatz deutliche Verbesserungen bei der Verarbeitung einzelner Modalitäten bietet, ist es jedoch z.B. bei der Verarbeitung von Videodaten wünschenswert, alle verfügbaren Modalitäten (Bild und Ton) in praxistauglichen Systemen zu verwenden. Durch den Ende-zu-Ende Ansatz von Deep Learning werden Merkmalsextraktion und deren Klassifikation zu einem einzigen Schritt zusammengefasst, weshalb die traditionellen Fusion-Konzepte (Early Fusion, Late Fusion) neu aufgegriffen werden müssen. Gegenwärtig ist die Frage: Wie und wann werden mehrere Modalitäten eines Eingangssignals zusammengeführt? Darüber hinaus ist es aktuell völlig offen, wie statische oder dynamische externe Kontextinformation (z.B. spezielles Domänenwissen oder Eye-Tracking Information) Deep Learning Systemen zugeführt werden können. Das Projekt DeFuseNN konzentriert sich auf diese drei Herausforderungen im Bereich Deep Learning und versucht dafür universelle Lösungen zu erarbeiten.
Innovationen und Perspektiven
Geplante Ergebnisse sind (1) Aufbau einer Wissensbasis, um das Verständnis der Deep Learning Landschaft zu verbessern, (2) Untersuchung und Entwicklung neuer multimodaler Fusionskonzepte für Deep Learning, (3) Verwendung zusätzlichen externen Kontexts zur Verbesserung der Klassifikation. Die Bewertung der Ergebnisse soll in den Szenarien Bildklassifikation von Adjektiv-Substantiv Paaren, Videoanalyse, Monitoring sozialer Medien, Satellitenbildanalyse und Image Captioning erfolgen. Darüber hinaus hat das Projekt vor, sich an internationalen Wettbewerben und Benchmarks zu beteiligen (was von den gewählten Szenarien abhängt) oder Neue zu entwickeln.