Motivation
Transformerarchitekturen haben verschiedene Bereiche der Künstlichen Intelligenz (KI), wie die Verarbeitung und Ausgabe natürlicher Sprache, revolutioniert. Allerdings bleibt ihre Bereitstellung, insbesondere bei großen Kontextlängen, aufgrund des erhöhten Rechen- und Speicherbedarfs eine große Herausforderung.
Ziele und Vorgehen
Das Forschungsvorhaben XEI hat deshalb zum Ziel, die Technologie effizient und flexibel einsetzbar zu machen, insbesondere beim Verarbeiten von Anfragen mit großen Kontextlängen. Im Grunde wird das Konzept einer dreistufigen Pipeline untersucht und entwickelt: Ein Memory-Modul liefert eine semantisch komprimierte Darstellung über einen langen Kontext, z.B. eine Dokumentation oder Nachrichten-Korpora. Die Ausgabe dieses Moduls wird dann an ein „Mid-Range-Attention-Modul“ weitergeleitet. Dieses basiert auf semantischen Blöcken, um effizient Token über mittlere Sequenzlängen zu generieren, die weiter auf die Benutzereingaben abgestimmt werden können. Die Ausgabe wird abschließend und entsprechend der eingegangenen Informationen durch ein klassisches Transformermodul erzeugt.
Innovationen und Perspektiven
Die nach Abschluss des Vorhabens neu entstehende, effiziente Inferenz auf großen Datenmengen wird KI-Modellen erlauben, mehr Eingabedaten mittels einfacherer Hardware zu verarbeiten. Da die laufenden Kosten für diesen Prozess mitunter den größten Teil der laufenden Kosten kommerzieller KI-Systeme ausmachen, würden somit auch die CO2-Emissionen dieser Systeme verringert werden. Darüber hinaus könnte das neuartige Modul für mehr Transparenz und Sicherheit sorgen, indem es relevante Merkmale in wenigen semantischen Konzepten erfasst und deren direkte Manipulation ermöglicht. Insgesamt bieten alle genannten Aspekte einen Wettbewerbsvorteil im internationalen Vergleich und machen die in XEI gesammelten Erkenntnisse damit insbesondere für den EU-Markt attraktiv.