Motivation
In den vergangenen Jahren wurden mit großen KI-Sprachmodellen eine Reihe bahnbrechender Ergebnisse erzielt. So ist beispielsweise das GPT-3-Modell von OpenAI ein gigantisches neuronales Sprachmodell für offene Textgenerierung. Seine Leistungsfähigkeit und Größe übertreffen alle bisherigen Sprachmodelle um ein Vielfaches. Die in Europa ansässigen Technologieentwickler und insbesondere die Anwender aus dem KMU-Bereich, die aufbauend auf diesen Sprachmodellen eigene Anwendungen realisieren wollen, müssen gegenwärtig selbst stark in Vorleistung gehen. Insbesondere die Anpassung der Sprachmodelle auf die Domäne oder Nische, in der Unternehmen ihre Services anbieten, stellt eine große Herausforderung dar. Für die meisten KMU rechnet sich der zusätzliche finanzielle und zeitliche Aufwand nicht.
Ziele und Vorgehen
Ziel ist es, Methoden und ein Framework zu entwickeln, um Sprachmodelle für KMU-spezifische Anwendungen effizient anzupassen. Damit sollen Texte für die Finanzbranche verfasst, Dokumente für Unternehmen im Legal Tech gematcht sowie die Lesereihenfolge in Dokumenten im Bereich Legal und Finance besser erkannt werden können. Dies betrifft den Kern des maschinellen Textverständnisses von Verträgen und Berichten.
Innovationen und Perspektiven
Das Vorhaben folgt dem datenzentrierten Ansatz. Dabei werden erprobte Trainingsmethoden modifiziert, damit vorhandene Trainingsdaten wesentlich effizienter und effektiver eingesetzt werden können. Die aktuelle Forschung an Sprachmodellen folgt dem Ansatz „bigger is better“. Dies ist für die deutsche Industrie nicht praktikabel umsetzbar. Im Vorhaben werden daher internationale und eigene Vorarbeiten fortgesetzt, insbesondere zu Adaptern, Datenfusion und zum Lernen aus mehreren Sprachen sowie aus wenigen Daten.