Motivation
Zeitreihen und deren Vorhersage spielen eine wichtige Rolle in vielen Bereichen von Wissenschaft und Technik. Während die Zeitreihenanalyse lange vor allem auf der Verwendung statistischer Modelle beruhte, haben Durchbrüche in der Künstlichen Intelligenz (KI) und insbesondere tiefe neuronale Netze die Vorhersage von zeitlichem Verhalten maßgeblich verbessert. Mit dem zunehmenden Einsatz von KI stellt sich jedoch die Frage, inwieweit die getroffenen Vorhersagen vertrauenswürdig und verlässlich sind.
Ziele und Vorgehen
EQUIPE beschäftigt sich mit der Quantifizierung von Unsicherheiten in großen KI-Modellen für die Zeitreihenvorhersage, sogenannte Transformer-Netzwerke. Diese Netzwerke sind zwar in der Lage eine hohe Vorhersagegenauigkeit zu erzielen, benötigen jedoch immense Rechenressourcen. Gängige Ansätze zur Fehlerabschätzung in neuronalen Netzen sind in gleichem Maße rechenintensiv, was ihren Einsatz in Transformern derzeit noch erheblich erschwert. Die Forschungsarbeiten zielen darauf ab, diese Probleme zu beheben und skalierbare Algorithmen zur Quantifizierung von Unsicherheiten in großen neuronalen Netzen zu entwickeln. Hierfür werden Ansätze des verteilten, datenintensiven Rechnens und des Hochleistungsrechnens (HPC) verwendet. Die Algorithmen werden damit nicht nur den technischen Anforderungen an Speicher und Rechenleistung der Modelle gerecht, es wird auch gleichzeitig die Trainings- und Vorhersagezeit reduziert. Zudem werden neue wahrscheinlichkeitstheoretische Ansätze erforscht, um vereinfachte Transformer-Netzwerke zu realisieren. Dadurch verringert sich der Rechen- und Speicherbedarf der Algorithmen, was sich auch vorteilhaft auf die Energieeffizienz und den Stromverbrauch auswirkt.
Innovationen und Perspektiven
Das Thema Quantifizierung von Unsicherheiten ist gerade für industrielle Anwendungen von großer Relevanz. Besonderes Potenzial besteht in der Energieforschung: Um die Netzstabilität und somit die Versorgungssicherheit zu gewährleisten, benötigt es schnelle und verlässliche Vorhersagemodelle für den Energieverbrauch. Neuronale Netze können maßgeblich zur Koordination der komplexen Prozesse der Stromerzeugung und -abnahme beitragen, wodurch sich intelligente Verteilersysteme entwickeln lassen.