Demonstratoren MAG

Im Rahmen der Forschungsarbeiten sind als wesentliche Ergebnisse eine Reihe von Demonstratoren entstanden. Diese Demonstratoren zeigen die prinzipielle Anwendbarkeit der Forschungsergebnisse und bilden eine Basis für Projektanträge und Angebote der Abteilung MAG an die Industrie.

 

OceanView

Der Demonstrator nutzt einen Datensatz des Leibniz-Instituts für Ostseeforschung Warnemünde zur südlichen Ostsee und ermöglicht eine interaktive Visualisierung über einen beliebigen Web-Browser. Interaktionselemente unterstützen die freie Wahl der Blickposition, das Anspringen vordefinierter Viewpoints, die Änderung der Darstellungsparameter des Wassers sowie die Einstellung des Wasserpegels. Zudem können gewählte Visualisierungen als Bild abgelegt und wieder aufgerufen werden.

Durch die Nutzung von Webstandards wie HTLM5 und X3D bzw. WebGL kann der Demonstrator nicht nur auf Desktop-PC, sondern auch auf mobilen Plattformen wir Smartphones oder Tablet-PCs genutzt werden.

 

oceanview1.png

Abb. 1: Interaktive Visualisierung von 3D-Bathymetriedaten im Desktop-Browser

 

oceanview2.png

Abb. 2: Interaktive Visualisierung von 3D-Bathymetriedaten auf dem Smartphone

 

VI:MAR:CON - The Virtual Maritime Interior Configurator

Mit dem virtuellen Schiffskonfigurator VI:MAR:CON können Schiffbauer zukünftig die Innengestaltung ihres Schiffes betrachten, bevor dieses überhaupt gebaut ist. Mittels VR-Technologien machen die Fraunhofer-Forscher ein 3D-Modell des zukünftigen Schiffes begehbar. Dort ist die komplette Inneneinrichtung eines Schiffes vom Stoffmuster der Stühle bis zu den Bodenbelägen realitätsnah nachgebildet. Dabei kommt ein sogenannter HDR-ABTF-Scanner zum Einsatz. Dieser scannt reale Materialien in Minuten bis auf das kleinste Detail und erzeugt daraus präzise virtuelle Abbilder. So sieht der Kunde bereits vor dem ersten Montageschritt die zukünftige Innengestaltung seines Schiffes und kann Änderungen veranlassen. Diese sind direkt im virtuellen Schiff umsetzbar.

 

vimarcon.png

Abb. 3: Interaktive Schiffskonfiguration über die Multitouch-Anwendung VI:MAR:CON

 

Marine Visual Analytics

Über das generisch einsetzbare DataViZ-Tool der TU-Graz können prototypische Visual Analytics-Anwendungen erstellt werden. Das Tool ermöglicht den Zugriff auf Big Data-Quellen und kann diese über graphisch programmierbare Filter, Analyse-Funktionen, und Transformationen für eine interaktive graphische Darstellung aufbereiten. Die Demonstration nutzt Daten des Leibniz-Instituts für Ostseeforschung Warnemünde und zeigt, wie Visual-Analytics den Meeresforscher bei der Auswertung seiner umfangreichen Messdaten unterstützen können.

 

dataviz.png

Abb. 4: Auf dem DataViz-Toll der TU Graz basierender Demonstrator

 

SimLink-3D

Zur Umsetzung des Demonstrators wurde ein 3D-Modell in X3DOM mit einer Physics Engine für Web-Anwendungen gekoppelt. Hierzu wurde eine Schnittstelle entwickelt, die automatisiert ein physikalisches Modell basierend auf dem 3D-Modell ableitet. Dieser Prozess erfolgt in mehreren Phasen. In einem ersten Schritt erfolgt die Vorverarbeitung des 3D-Modells. Diese ist gekennzeichnet durch eine für die physikalische Simulation ausreichende Abstrahierung des 3D-Modells, indem beispielsweise nicht sichtbare Objekte entfernt werden und mehrere Objekte sinnvoll zu einem Objekt zusammengefasst werden. Darüber hinaus wird das 3D-Modell mit Metadaten angereichert. Zu den Metadaten gehört beispielsweise die Masse, die für die physikalische Simulation notwendig ist und im reinen Geometriemodell nicht enthalten ist. Im Anschluss daran erfolgt die Ableitung des physikalischen Modells, indem basierend auf dem 3D-Modell zunächst die einzelnen Objekte generiert werden, die in einem zweiten Schritt durch so genannte Constraints miteinander verknüpft werden. Schließlich steht für das 3D-Modell ein äquivalentes physikalisches Modell zur Verfügung, die permanent miteinander synchronisiert werden können, indem die durch die Physics Engine berechneten Bewegungsänderungen des physikalischen Modells kontinuierlich an das 3D-Modell übergeben werden.

Die Anwendung kann im Browser geöffnet und ausgeführt werden. Zusätzlich zum 3D-Modell, das eine Davit-Anlange darstellt, steht im Browser eine GUI zur Steuerung des Modells zur Verfügung. Mit Hilfe der Steuerelemente können einwirkende Kräfte auf des 3D-Modell beeinflusst werden, die wiederum Auswirkungen auf die Bewegung des 3D-Modells haben. Somit kann die Davit-Anlage ausgefahren werden, um eine typische Bewegung, Rettungsboote ins Wasser zu lassen, zu simulieren.

 

simlink1.png

Abb. 5: Interaktiver Demonstrator einer Kinematiksimulation im Web-Browser

 

simlink2.png

Abb. 6: Simulierte Davitanlage im Kontext des kompletten 3D-Modells

 

Unterwasser Stereo-3D

Durch Lichtbrechung an Übergängen zwischen Medien mit verschiedenen Brechungsindexen wird der Weg des Lichts beeinflusst. Dies führt bei der Bildaufnahme unter Wasser zu nicht-linearen Verzerrungen, die für viele Aufgabenstellungen der Computer Vision große Probleme darstellen.

Mit Hilfe der freien Software GeoGebra wurde ein interaktives 3D-Modell geschaffen, das den Weg des Lichts von einem Objektpunkt im Wasser, durch eine schützende, ebene Grenzfläche (Bsp. Glas), bis auf den Bildsensor einer Kamera physikalisch korrekt darstellt. Die Simulation vom Strahlengang in 3D ist ein Hilfsmittel für das Verständnis der Vorgänge der Bildentstehung in Einzel- und Stereo Kamera Systemen. Auf Grundlage des Konzepts der „scheinbaren Tiefe“ von einem Objektpunkt konnte ein neuartiges Modell einer virtuellen Kamera entwickelt werden. Dadurch können die Medienübergänge virtuell eliminiert werden. Dies wird ebenfalls durch eine 3D Modellierung veranschaulicht.

Von dem Konzept der „scheinbaren Tiefe“ konnte ein weiteres Modell abgeleitet werden. Mit diesem Modell für virtuelle Objektpunkte konnten verschiedene angepasste Algorithmen für Computer Vision Disziplinen im Einsatz unter Wasser - wie Kalibrierung des Systems und 3D-Rekonstruktion - entwickelt werden.

Der Demonstrator verdeutlicht sowohl die physikalischen Grundlagen als auch die Forschungsarbeiten zur Unterwasser Stereo Kamera Kalibrierung. Gezeigt wird die 3D Strahlengang Simulation, der Testaufbau zur Aufnahme von Ground Truth Daten und erzielte Resultate aus den ausgewerteten Video Daten.

 

unterwasser_stereo.png

Abb. 7: Interaktiver Demonstrator zum Strahlengang bei Unterwasser-Aufnahmen

 

Unterwasserbildverbesserung

Der Deep Fish Tank besteht aus einem Aquarium mit dem Abmaßen von ca. 1m x 1m x 60cm, welches auf einem Sockel ruht. Auf zwei Seiten können Unterwasser-Szenen projiziert werden, um beim Betrachter, der über die beiden anderen Seiten hineinschaut, den Eindruck zu suggerieren, bei einer Tauchfahrt eines Remotely Operated Vehicle live dabei zu sein. Erreicht wird dies durch eine tiefenabhängige Simulation einer Unterwasserwelt am Fuß einer Offshore-Windenergiekraftanlage.

Das Mini-Unterwasser-Fahrzeug kann über eine Fernbedienung gesteuert werden und die über die eingebaute Kamera aufgenommene Simulation dergestalt korrigieren, dass die Bildqualität wieder optimal ist.

Der Deep Fish Tank diente als Exponat auf der weltweiten Leitmesse von Schiffbau du Meerestechnik, der SMM 2014 und steht seitdem im Fraunhofer IGD als Dauerexponat für Demonstrationen zur Verfügung. Darüber hinaus sind in diesem Becken auch Experimente geplant, die es erlauben, physikalisch-optischen Effekte besser zu Verstehen und Algorithmen zu testen, die diese maschinell korrigieren.

 

deep_fishtank.png

Abb. 8: Deep Fisch Tank auf dem IGD-Stand auf der SMM in Hamburg 2014

 

Single Underwater Image Super-resolution based on Compressive Sensing

Underwater images are characterized by poor visibility due to light absorption and scattering as the major source of distortion. This is due to high refraction index of water in comparison with air. Light refraction bends the light to make crinkle patterns or to diffuse. Light reflection is next concern which highly depends on water quality. Thus, capturing a clear scene underwater is not a trivial task, so underwater image preprocessing algorithms are proposed to provide sufficient quality for further advanced processing and understanding.

For this demo, we developed a single UW image superresolution based on powerful tool, compressive sensing. The main focus is to super resolve the low resolution UW image while enhance the details and remove the blur effect which is caused by scattering in this medium. The approach is patch based and uses a pair of dictionaries, one is learned from high resolution and blur free UW image set and the corresponding degraded one which is learned from low resolution and blurred UW image set. To model the degradation, we used a simplified version of Jaffe-McGlamery formation for UW imaging system. Once dictionaries are ready, sparse coefficients of test image patches are calculated over low quality dictionary. Having this coefficients together with high quality dictionary, the blur free UW image is restored. The restoration is done over Bicubic interpolated version of low resolution input image.

 

underwater_superresolution.png

Abb. 9: From left to right, low resolution input image, Bicubic interpolation,
and super resolution and detail enhancement.

 

Underwater Vision Toolbox

Unterwasser Computer Vision Algorithmen werden zunehmend als Ergänzung zu akustischen Methoden im Nahbereich genutzt. Die im Rahmen des Projekts entwickelte Underwater Vision Toolbox integriert die unterschiedlichen Verfahren zur Bildverbesserung, Kalibrierung und Auswertung. Für Test und Optimierung der Algorithmen wurde in die Toolbox auch ein Simulator integriert, der die wesentlichen Effekte der UW-Optik simuliert. Dazu zählen insbesondere die Brechungseffekte, die Dämpfung sowie der Marine Snow. Über eine Oberfläche lassen sich wesentliche Parameter steuern und die virtuelle UW-Welt betrachten.

 

unterwasser_simulator.png

Abb. 10: Visueller Simulator für Unterwasserszenen

 

Unterwasser Segmentierung und Tracking

Um Informationen über eine Szene zu erlangen ist der erste und wichtigste Schritt das automatische Erkennen von Lebewesen und wichtigen Objekten in dieser. Auf diesen Informationen aufbauend können dann im Weiteren die Objekte mit anderen Algorithmen Vermessen oder zeitlich verfolgt werden um höherwertige Informationen zu extrahieren. Für die Segmentierung wurde im Rahmen des VCRIC ein spezielles Hintergrund-Subtraktions-Verfahren erarbeitet. In unserer Software kann dies mit einen von mehreren selbstentwickelten räumlichen Modellen kombiniert werden. Diese räumlichen Modelle sorgen dafür, dass sich die Glattheit natürlicher Bilder auch in den Segmentierungen widerspiegeln und so die Konturen der Objekte besser abgebildet werden können.

Die Analyse von Verhalten erfordert zusätzlich die Zuordnung von Segmentierungen aus verschiedenen Bildern zu einem speziellen Objekt, um so temporale Daten über das Verhalten dieses Objekts zu bekommen. Im Demonstrator erfolgt diese Zuordnung nur auf Grundlage der Segmentierungen aus den vorherigen Schritten. Die dafür entwickelte Methode ist unabhängig von der Objektart und benötigt keine Lernphase.

 

unterwasser_segmentierung.png

Abb. 11: Mehrstufige Vorverarbeitung und Segmentierung einer UW-Szene

 

Near Shore Positioning System

Das entwickelte System wird mit Kartenmaterial und aufgezeichneten Radardaten aus einer Küstenfahrt gespeist. Aus diesen Daten kann das System ohne Verwendung der GPS-Daten die Position des Schiffs bestimmen. Die berechnete Bewegung des Schiffs wird auf der Karte angezeigt und den Daten des GPS gegenübergestellt.

Aus verschiedenen Seegebieten (Sassnitz/Rügen, Darß, Moen, Ostfriesische Inseln) können die bei Testfahrten erhobenen Daten in das System geladen und die Funktionsfähigkeit und Genauigkeit der Positionsbestimmung demonstriert werden.

 

near_shore_positioning.png

Abb. 12: Demonstration des Near Shore Positioning Systems vor der Insel Rügen