Motivation
Ein wichtiger Baustein in großen Datenprozessen ist die sogenannte „ETL“. Das steht für „Extract, Transform, Load“, also das Herunterladen, die Weiterverarbeitung und die abschließende Integration großer Datenmengen an anderer Stelle. Ein Beispiel dafür sind Datenumzüge von Behörden. Immer häufiger ist dieses Vorgehen so komplex, dass spezielle Software eingesetzt werden muss. Diese teilt den Vorgang in einzelne Schritte auf, die dann parallel abgearbeitet werden. Dies bestimmt auch die Aufteilung der dafür benötigten Rechenressourcen – auch „Allokation“ genannt. Bisher wird diese manuell vorgenommen, was arbeitsaufwändig ist und keine optimale Aufteilung garantiert.
Ziele und Vorgehen
Das Verbundvorhaben ETL4Balance hat zum Ziel, eine neuartige, automatisierte Strategie für Ressourcenallokation mit Hilfe von Künstlicher Intelligenz (KI) zu entwickeln. Die Projektbeteiligten möchten damit eine verbesserte Bedienbarkeit und Verarbeitungsgeschwindigkeit in großen Datenvorgängen erreichen. Konkret sollen dazu Ansätze des sogenannten „Reinforcement Learning“ und „Transfer Learning“ genutzt werden. Im Projekt wird unter anderem eine realistische Lernumgebung auf Basis einer großen Anzahl an künstlich erzeugten Szenarien erstellt. Durch spezielle „Sim2Real“-Methoden wird dann von diesen Simulationen auf die Realität zurückgeschlossen. Ein weiteres Ziel ist es, das Gelernte idealerweise auch auf neue Prozesse und Domänen übertragen zu können.
Innovationen und Perspektiven
Große und komplexe Datenverarbeitung und die dazugehörige ETL sind in jeder Branche vertreten – von öffentlichen Verwaltungen und Einrichtungen über den Einzelhandel bis hin zu Geoinformationsdiensten. Die Innovationshöhe von ETL4Balance liegt darin, dass mithilfe von KI alle involvierten Rechenressourcen erkannt und optimal aufgeteilt werden. Damit können die meist stark begrenzten Rechenkapazitäten effizienter genutzt werden. Darüber hinaus sinkt durch die höhere Effizienz in der Datenverarbeitung auch automatisch der Energieverbrauch.