Motivation
Die genaue dreidimensionale Vermessung von Objekten oder Arbeitsbereichen ist eine Grundvoraussetzung für viele Aufgabenstellungen in der Robotik, Automatisierungstechnik, Qualitätssicherung, Inspektion und weiteren Branchenfeldern von Industrie 4.0. Eine 3D-Erfassung mit Stereovision ist dann eine vielversprechende Lösung, wenn aktive Kamerasysteme, die selbst Licht aussenden, wegen zu starkem Fremdlicht (z.B. im Außenbereich) oder zu großer Entfernung nicht praktikabel sind. Bei Stereovision werden zwei versetzt angeordnete Kameras genutzt, um die räumliche Tiefe über einen Vergleich der beiden Kamerabilder zu ermitteln, ähnlich wie beim menschlichen Sehen. Stereovision eignet sich besonders gut für Anwendungen wie z.B. autonome Fahrzeuge, autonome Drohnen, Verkehrs- oder Gebäudeüberwachung, automatisierte Logistik und automatisierte Inspektion von Infrastruktur und Industrieanlagen. Für Stereovision ist jedoch die besonders rechenintensive Bildverarbeitung eine Herausforderung. Möchte man eine Bildverarbeitung in Echtzeit erreichen, ist der Einsatz spezieller Hardwaresysteme nötig. Die Systeme des Projektpartners Nerian basieren auf programmierbaren Logikbausteinen (FPGAs), die es erlauben, die Bildverarbeitungsalgorithmen direkt in Hardware abzubilden. Die dabei mögliche massive Parallelisierung führt zu einer hohen Leistungssteigerung im Vergleich zu einer herkömmlichen, computerbasierten Bildverarbeitung. Gleichzeitig sind FPGAs besonders stromsparend, was einen Einsatz als Embedded-Vision-System auf mobilen Plattformen, wie z.B. mobilen Robotern, ermöglicht. Aktuelle Forschungsergebnisse haben gezeigt, dass die Anwendung von sogenannten tiefen neuronalen Netzen (Maschinelles Lernen) in Kombination mit klassischen Algorithmen für Stereovision die Genauigkeit deutlich verbessern kann. Hierdurch wäre es möglich, eine vergleichbare oder höhere Genauigkeit zu erzielen als mit aktiven Sensoren.
Ziele und Vorgehen
Ziel des Vorhabens ist die Entwicklung eines Prototyps, der hinsichtlich Genauigkeit mit aktuellen, auf Maschinellem Lernen basierten Stereoverfahren konkurrieren kann, aber eine deutlich höhere Verarbeitungsgeschwindigkeit und einen geringeren Stromverbrauch aufweist. Das KMU wird im Nachgang zum Vorhaben daraus ein Produkt entwickeln und vermarkten.
Innovationen und Perspektiven
Im Vorhaben DeepStereoVision sollen deshalb Architekturen für neuronale Netzwerke erforscht werden, die sich für Stereovision eignen und auf einem FPGA ausgeführt werden können. Hierfür müssen auch Methoden erforscht werden, die sich für das Trainieren von Netzwerken mit den oben genannten Beschränkungen eignen. Gleichzeitig soll erforscht werden, wie sich diese neuronalen Netzwerke mit einem klassischen Algorithmus für Stereovision in einem FPGA integrieren lassen. Durch die Kombination mit einem klassischen Algorithmus lassen sich voraussichtlich erheblich FPGA-Ressourcen einsparen.