Motivation
Um natürlich Sprache mithilfe von NLP („Natural Language Processing“) zu verarbeiten, müssen aktuelle neuronale Modelle auf riesigen Mengen von Rohtextdaten vortrainiert werden. Diese Abhängigkeit von unbearbeiteten Daten hat mehrere indirekte und unbeabsichtigte Auswirkungen: Die Daten sind aufgrund der Dominanz der verbreitetsten Sprachen in Online-Texten nicht besonders vielfältig. Die darauf basierenden Modelle reproduzieren dadurch systematische Abweichungen. Außerdem ist das Training dieser großen Sprachmodelle („Large Language Models“, LLM) sehr zeitaufwändig und kostspielig.
Ziele und Vorgehen
Die Probleme bergen die Gefahr, dass Inklusion und Vertrauen in solche Systeme untergraben werden. Im Vorhaben TRAILS soll daher eine andere Art von Sprachverarbeitungstechniken erforscht werden, die unterrepräsentierte Sprachen und Kulturen durch mehrsprachiges und kultursensibles NLP berücksichtigen. Dafür werden Techniken entwickelt, mit denen sich bei Bedarf neue Sprachen leichter hinzufügen lassen und die Modellqualität von unterrepräsentierten Sprachen und Kulturen verbessert werden kann. Darüber hinaus gehört es zu den Kernzielen von TRAILS, Methoden zu erforschen, um die Sprachverarbeitung fair, robust und effizient durchzuführen.
Innovationen und Perspektiven
Die meisten der bekannten großen Sprachmodelle sind Black Boxes, benötigen Daten und Ressourcen, und benachteiligen Sprachen und Gruppen, die nicht der Mehrheit angehören. Deshalb ist es eines der Hauptziele, sowohl in der Forschung als auch in der Industrie, Sprach-modelle und NLP-Technologie vertrauenswürdiger, effizienter und inklusiver zu gestalten.