Demonstratoren (Unterwasser)

Unterwasser Stereo-3D

Durch Lichtbrechung an Übergängen zwischen Medien mit verschiedenen Brechungsindexen wird der Weg des Lichts beeinflusst. Dies führt bei der Bildaufnahme unter Wasser zu nicht-linearen Verzerrungen, die für viele Aufgabenstellungen der Computer Vision große Probleme darstellen.

Mit Hilfe der freien Software GeoGebra wurde ein interaktives 3D-Modell geschaffen, das den Weg des Lichts von einem Objektpunkt im Wasser, durch eine schützende, ebene Grenzfläche (Bsp. Glas), bis auf den Bildsensor einer Kamera physikalisch korrekt darstellt. Die Simulation vom Strahlengang in 3D ist ein Hilfsmittel für das Verständnis der Vorgänge der Bildentstehung in Einzel- und Stereo Kamera Systemen. Auf Grundlage des Konzepts der „scheinbaren Tiefe“ von einem Objektpunkt konnte ein neuartiges Modell einer virtuellen Kamera entwickelt werden. Dadurch können die Medienübergänge virtuell eliminiert werden. Dies wird ebenfalls durch eine 3D Modellierung veranschaulicht.

Von dem Konzept der „scheinbaren Tiefe“ konnte ein weiteres Modell abgeleitet werden. Mit diesem Modell für virtuelle Objektpunkte konnten verschiedene angepasste Algorithmen für Computer Vision Disziplinen im Einsatz unter Wasser - wie Kalibrierung des Systems und 3D-Rekonstruktion - entwickelt werden.

Der Demonstrator verdeutlicht sowohl die physikalischen Grundlagen als auch die Forschungsarbeiten zur Unterwasser Stereo Kamera Kalibrierung. Gezeigt wird die 3D Strahlengang Simulation, der Testaufbau zur Aufnahme von Ground Truth Daten und erzielte Resultate aus den ausgewerteten Video Daten.

Interaktiver Demonstrator zum Strahlengang bei Unterwasser-Aufnahmen

 

Unterwasserbildverbesserung

Der Deep Fish Tank besteht aus einem Aquarium mit dem Abmaßen von ca. 1m x 1m x 60cm, welches auf einem Sockel ruht. Auf zwei Seiten können Unterwasser-Szenen projiziert werden, um beim Betrachter, der über die beiden anderen Seiten hineinschaut, den Eindruck zu suggerieren, bei einer Tauchfahrt eines Remotely Operated Vehicle live dabei zu sein. Erreicht wird dies durch eine tiefenabhängige Simulation einer Unterwasserwelt am Fuß einer Offshore-Windenergiekraftanlage.

Das Mini-Unterwasser-Fahrzeug kann über eine Fernbedienung gesteuert werden und die über die eingebaute Kamera aufgenommene Simulation dergestalt korrigieren, dass die Bildqualität wieder optimal ist.

Der Deep Fish Tank diente als Exponat auf der weltweiten Leitmesse von Schiffbau du Meerestechnik, der SMM 2014 und steht seitdem im Fraunhofer IGD als Dauerexponat für Demonstrationen zur Verfügung. Darüber hinaus sind in diesem Becken auch Experimente geplant, die es erlauben, physikalisch-optischen Effekte besser zu Verstehen und Algorithmen zu testen, die diese maschinell korrigieren.

Deep Fisch Tank auf dem IGD-Stand auf der SMM in Hamburg 2014

 

Single Underwater Image Super-resolution based on Compressive Sensing

Underwater images are characterized by poor visibility due to light absorption and scattering as the major source of distortion. This is due to high refraction index of water in comparison with air. Light refraction bends the light to make crinkle patterns or to diffuse. Light reflection is next concern which highly depends on water quality. Thus, capturing a clear scene underwater is not a trivial task, so underwater image preprocessing algorithms are proposed to provide sufficient quality for further advanced processing and understanding.

For this demo, we developed a single UW image superresolution based on powerful tool, compressive sensing. The main focus is to super resolve the low resolution UW image while enhance the details and remove the blur effect which is caused by scattering in this medium. The approach is patch based and uses a pair of dictionaries, one is learned from high resolution and blur free UW image set and the corresponding degraded one which is learned from low resolution and blurred UW image set. To model the degradation, we used a simplified version of Jaffe-McGlamery formation for UW imaging system. Once dictionaries are ready, sparse coefficients of test image patches are calculated over low quality dictionary. Having this coefficients together with high quality dictionary, the blur free UW image is restored. The restoration is done over Bicubic interpolated version of low resolution input image.

From left to right, low resolution input image, Bicubic interpolation,
and super resolution and detail enhancement.

 

Underwater Vision Toolbox

Unterwasser Computer Vision Algorithmen werden zunehmend als Ergänzung zu akustischen Methoden im Nahbereich genutzt. Die im Rahmen des Projekts entwickelte Underwater Vision Toolbox integriert die unterschiedlichen Verfahren zur Bildverbesserung, Kalibrierung und Auswertung. Für Test und Optimierung der Algorithmen wurde in die Toolbox auch ein Simulator integriert, der die wesentlichen Effekte der UW-Optik simuliert. Dazu zählen insbesondere die Brechungseffekte, die Dämpfung sowie der Marine Snow. Über eine Oberfläche lassen sich wesentliche Parameter steuern und die virtuelle UW-Welt betrachten.

Visueller Simulator für Unterwasserszenen

 

Unterwasser Segmentierung und Tracking

Um Informationen über eine Szene zu erlangen ist der erste und wichtigste Schritt das automatische Erkennen von Lebewesen und wichtigen Objekten in dieser. Auf diesen Informationen aufbauend können dann im Weiteren die Objekte mit anderen Algorithmen Vermessen oder zeitlich verfolgt werden um höherwertige Informationen zu extrahieren. Für die Segmentierung wurde im Rahmen des VCRIC ein spezielles Hintergrund-Subtraktions-Verfahren erarbeitet. In unserer Software kann dies mit einen von mehreren selbstentwickelten räumlichen Modellen kombiniert werden. Diese räumlichen Modelle sorgen dafür, dass sich die Glattheit natürlicher Bilder auch in den Segmentierungen widerspiegeln und so die Konturen der Objekte besser abgebildet werden können.

Die Analyse von Verhalten erfordert zusätzlich die Zuordnung von Segmentierungen aus verschiedenen Bildern zu einem speziellen Objekt, um so temporale Daten über das Verhalten dieses Objekts zu bekommen. Im Demonstrator erfolgt diese Zuordnung nur auf Grundlage der Segmentierungen aus den vorherigen Schritten. Die dafür entwickelte Methode ist unabhängig von der Objektart und benötigt keine Lernphase.