Motivation
Rasant steigende Datenaufkommen durch Handelsnetze, Wertschöpfungsnetzwerke und Dienstleistungsverbünde in der Wirtschaft sowie in der vernetzten Verwaltung, führen zu Problemen aufgrund der Heterogenität und der unterschiedlichen Qualität der Daten. Gründe für Unvollständigkeit und Inkonsistenz von Daten sind beispielsweise Sensorikausfälle, begrenzte räumliche oder zeitliche Abdeckung und Auflösung von Daten, unvollständige oder fehlerhafte Altdaten sowie Schwierigkeiten beim Digitalisieren analoger Altdatenbestände. Für die gemeinsame, intelligente Auswertung, werden Datenbestände aus verteilten Quellen daher häufig mithilfe sogenannter ETL-Werkzeuge (Extraktion, Transformation und Laden von Daten) in qualitätsgesicherte Data Warehouses überführt.
Ziele und Vorgehen
Im Projekt WIRE wird ein Konzept entwickelt und prototypisch umgesetzt, um herkömmliche ETL-Werkzeuge, wie Talend, so zu erweitern, dass die Anwender Daten mit Ort-Zeit-Bezug einfacher und besser integrieren, vervollständigen und konsistent halten können. Die Leistungsfähigkeit und Übertragbarkeit der entwickelten Methoden und Werkzeuge wird anhand von Anwendungsbeispielen aus den Bereichen Agrarwirtschaft und Umweltschutz demonstriert und evaluiert. Der Ansatz von WIRE beruht auf der Erstellung eines integrierten Datenwürfels – eines sogenannten globalen Datenwürfels – aus allen verfügbaren multidimensionalen Datensätzen. Zur automatischen Vervollständigung bei Datenlücken werden logikbasierte Techniken und Techniken des Maschinellen Lernens kombiniert. Die Inkonsistenzen werden reduziert, indem semantische Herkunftsinformationen genutzt werden, um die Zuverlässigkeit von Daten zu bewerten und Konflikte aufzulösen.
Innovationen und Perspektiven
Die disy Informationssysteme GmbH wird mit den Projektergebnissen ihr Software-Produktangebot und ihr Dienstleistungsportfolio rund um das Thema Datenqualität erweitern und damit bei ihren Kunden die Basis für bessere datenbasierte Planung und Entscheidungsunterstützung legen. Multiplikatoreffekte werden durch die disy-Kunden- und Partnerstruktur sowie durch das Talend-Ökosystem erwartet. Das FZI Forschungszentrum Informatik wird mit den Projektergebnissen seine Expertise im Bereich Semantische Technologien und Maschinelles Lernen weiter ausbauen und im Bereich Data Science einsetzen.