Motivation
Textgenerierungssysteme, z.B. für Übersetzungen oder Textzusammenfassungen, sind von enormer Bedeutung für die Verarbeitung natürlicher Sprache und haben vielfältige Anwendungen in Industrie und Wissenschaft. Durch den Fortschritt in der Künstlichen Intelligenz (KI), insbesondere in den Bereichen des Tiefen Lernens (“deep learning”), haben diese Systeme in den letzten Jahren enorme Qualitätssprünge gemacht. Die Erwartungen sind dementsprechend hoch. Man geht davon aus, dass solche Sprachverarbeitungssysteme die Mensch-Computer-Interaktion in den nächsten Jahren revolutionieren werden. Allerdings kann die Entwicklung von entsprechend leistungsfähigen Metriken zur Evaluation dieser Systeme mit diesen rasanten Fortschritten nicht mithalten. Um die neuen Textgenerierungssysteme zu evaluieren, werden bisher meist noch veraltete Algorithmen eingesetzt. Dies führt dazu, dass die Leistungsfähigkeit von Systemen inadäquat bewertet wird, was wiederum Fehlentwicklungen und Fehlinvestitionen begünstigt.
Ziele und Vorgehen
Die KI-Nachwuchsgruppe Metrics4NLG hat sich zum Ziel gesetzt, eine neue Generation von Evaluationsmetriken für die KI-basierte Generierung von Texten zu erarbeiten. Dabei liegt der Fokus auf Effizienz, Erklärbarkeit und Robustheit der Metriken. Darüber hinaus sollen die Metriken dem neuesten Stand des Tiefen Lernens entsprechen und nicht nur einzelne Sätze, sondern ganze Texte im Kontext evaluieren können. Auch in zeitsensitiven Szenarien, z.B. wenn sie die Qualität von Übersetzungen aus historischen in moderne Sprachen bemessen, sollen die Metriken adäquat funktionieren.
Innovationen und Perspektiven
Leistungsfähige Metriken sind insbesondere für Industriezweige, die sich mit der Generierung natürlicher Sprache befassen (z.B. Übersetzungsanbieter oder Webunternehmen) von höchstem Interesse. Mit Siemens Global Translate Services sowie dem Startup Summetix sind im Vorhaben zwei Anwender eingebunden, die die im Projekt entwickelten Algorithmen im wirtschaftlichen Umfeld testen und somit einen guten Praxistransfer gewährleisten.