Demonstratoren IDE

Im Rahmen der Forschungsarbeiten sind als wesentliche Ergebnisse eine Reihe von Demonstratoren entstanden. Diese Demonstratoren zeigen die prinzipielle Anwendbarkeit der Forschungsergebnisse und bilden eine Basis für Projektanträge und Angebote der Abteilung IDE an die Industrie.

Plant@Hand3D

Plant@Hand3D ist eine Beispiellösung für den Maschinenbau und bietet einen neuen Zugang zu Produktionsdaten. Während Mitarbeiter bisher mehrere unterschiedliche Anwendungen nutzen mussten, um alle relevanten Informationen aus den verschiedenen Planungs- und Steuerungssystemen der Produktion (ERP, MES, ECMS etc.) zu erhalten, werden die Daten jetzt in einer Anwendung integriert und an einem realistischen 3D-Modell der Produktionshalle einheitlich visualisiert. Statt die Maschinen durch abstrakte Zahlencodes in Diagrammen zu referenzieren, werden die Daten jetzt direkt an ein repräsentativen Abbildern der Maschinen dargestellt. Komplexe Arbeitsgänge können damit über mehrere Arbeitsplätze hinweg visualisiert werden. Die Übereinstimmung des virtuellen 3D-Modells mit der realen Umgebung ermöglicht ein intuitives Verorten und Verstehen aller Informationen und unterstützt damit schnelle Entscheidungsfindungen und Reaktionen. Das erleichtert den Mitarbeitern das Verstehen und Bewerten der Daten.

 

plant_at_hand.jpg

Abb. 1: Darstellung einer Fabrikhalle mit Produktionskennzahlen auf einem Multitouch-Tisch

 

Als zentrales Ausgabemedium verwendet Plant@Hand3D einen großen Multitouch-Tisch. Dieser fungiert als Leitstand für die gesamte Produktion. Mit einfachen Fingergesten kann der Benutzer aus einer Übersicht über die gesamte Halle auf einzelne Maschinen heranzoomen und in der Halle navigieren. Kurzinformationen zu Produktionsdaten werden in Billboards an jeder Maschine dargestellt.  Das Berühren dieser Kurzinformationen führt zur Darstellung weiterer Detailinformationen in separaten an die Maschine angebundenen Fenstern. Benötigt der Benutzer mehr Übersicht, so werden Maschinen zu Gruppen zusammengefasst und die Informationen der einzelnen Maschinen aggregiert. Je nach angeschlossenen Systemen können verschiedene Datenkategorien (z.B. Lagerstände, Aufträge oder Maschinendaten) mit unterschiedlichen Optionen angezeigt werden. Um unterschiedliche Daten abzugleichen, können zu einer Maschine beliebig viele Detailfenster geöffnet und angeordnet werden.

Unterschiedliche Nutzer mit verschiedenen Aufgaben benötigen unterschiedliche Sichten auf die Daten und die Produktionsstätte. Ein Controller möchte beispielsweise die Kennzahlen der gesamten Produktion, der Meister nur die Maschinendaten für seinen Bereich. Zu diesem Zweck wurde ein erster Ansatz für die Definition von Sichten in Plant@Hand3D integriert. Für die Überwachung von verteilten Produktionsstätten wird ein Overview&Details-Konzept erprobt, mit dem man einfach in eine Übersicht wechseln und von dort aus zwischen verschiedenen Produktionsstätten wählen kann.

Um Plant@Hand3D flexibler einsetzen zu können, wurde ein Ansatz für Multidesktop-Fähigkeit entwickelt. Statt eines zentralen Leitstandes können jetzt mehrere Leitstände mit beispielsweise unterschiedlichen Sichten parallel genutzt werden. Dabei besteht die Wahl, ob ein Leitstand das 3D-Modell der Anlage zeigt oder nur verschiedene Detailinformationen abbildet.

Detailfenster können nun an andere Leitstände verteilt werden, um gemeinsam die Informationen betrachten zu können. Alle Interaktionen in einem Fenster (auch die Berührungspunkte) werden auch auf den geteilten Fenstern ausgeführt und visualisiert.

Um einen Leitstand schnell und effizient für ein neues Umfeld einzurichten, ist es wichtig sehr viele Einstellungen konfigurierbar zu machen, um den Aufwand einer Neuimplementierung einzusparen. Zu diesem Zweck wurden verschiedene Konfigurationswerkzeuge konzipiert. Ein Editor ermöglicht das Einfügen und Positionieren von neuen Maschinen in die Werkhalle und die Verknüpfung mit den entsprechenden Datenquellen für Kurz- und Detailinformationen. Ein weiter Editor ermöglicht das Anlegen von neuen Kategorien im Leitstand. Auch hier können Verknüpfungen zu den jeweiligen Datenquellen angegeben werden.

Plant@Hand Analytics

Die fortschreitende Digitalisierung der Produktion ermöglicht erstmals eine umfassende Erhebung fertigungsrelevanter Maschinen- und Produktdaten. Über Fertigungsstrecken und ganze Anlagen zusammengeführt, in ihrem zeitlichen Verlauf analysiert und schließlich visuell aufbereitet, liegt in diesen Datenbeständen der Schlüssel zur Produktionsoptimierung durch prädiktive Steuerung. Diese verspricht ein Erkennen und Reagieren auf technische Störungen, Materialengpässe oder Qualitätsprobleme, noch bevor diese eintreten. Um die dafür nötigen großen Datenmengen zu beherrschen und nutzbar zu machen, wurde das Analytics Modul für das Plant@Hand Framework entwickelt. Dieses ermöglicht aus dem Monitoring eines Leitstandes heraus die visuell-interaktive Steuerung rechnergestützter Analysealgorithmen zur Störungsvorhersage und Ursachenerkennung im Produktionsprozess. Zum einen werden hierbei retrospektiv Zusammenhänge zwischen deren Verläufen und eingetretenen Störfällen identifiziert und zu Fehlermustern gruppiert. Zum anderen werden die so gefundenen Fehlermuster prospektiv in die Zukunft fortgeschrieben, um eine Vorhersage des nächsten Eintretens zu treffen und rechtzeitig Gegenmaßnahmen einleiten zu können.

 

plant_at_hand_analytics.png

Abb. 3: Analyse von Produktionsdaten mit Plant@Hand3D

Dynamic Graph Explorer

Graphen werden in vielen Bereichen eingesetzt, zum Beispiel zum Beschreiben von technischen Geräten wie Routern und ihren Verbindungen in Kommunikations- oder Sensornetzwerken oder von Personen und ihren Beziehungen in sozialen Netzwerken. Ihre Visualisierung ist wichtiger Bestandteil für die Analyse von Schwachpunkten und anderen Problemen in Sensornetzwerken oder von aktuellen Themen und Trends in sozialen Netzwerken. Jedes dieser Szenarios hat andere Anforderungen an ihre Visualisierung. Die technischen Geräte in Sensornetzwerken haben oft eine geographische Position und nehmen verschiedene Messwerte (Temperatur, Stromverbrauch …) über die Zeit auf. Neben der Struktur muss die Visualisierung also auch weitere Facetten, wie Attribute, Raum und Zeit betrachten.

Bisherige Visualisierungslösungen betrachten allerdings nur einige dieser Aspekte. Aus diesem Grund, wurde der Demonstrator „Dynamic Graph Explorer“ entwickelt, welcher für alle Aspekte entsprechende Visualisierungstechniken bereitstellt und diese miteinander kombiniert. Neben den typischen Techniken (wie Node-Link Diagrammen oder Zeitreihendarstellungen) beinhaltet der Demonstrator zudem verschiedene Analysetechniken (auf der Basis von Clusteringverfahren bzgl. Struktur und Zeit, als auch Degree-of-Interest basierte Selektionsverfahren) um auch die Analyse größerer Graphen mit Millionen Knoten, Kanten und Zeitpunkte zu unterstützen.

 

dynamik_graph_explorer.png

Abb. 2: Darstellung eines Sensornetzwerkes über einer Karte. Detailfenster bringen Einsicht in die Struktur einzelner Dörfer (die beiden rechten Fenster) oder zeigen die Entwicklung eines Dorfes über die Zeit (linkes Fenster).

Intelligenter Werkstattwagen

Der Plant@Hand Intelligenter Werkstattwagen stellt einen Demonstrator für situative Montageassistenz dar und ist ein Informationsassistenzsystem für die Planung, Unterstützung und Dokumentation von Montagearbeiten im Maschinen- und Anlagenbau. Informationen werden bedarfsgerecht und situationsabhängig an den Montagearbeitsplatz übertragen und dort in einer für den Montagearbeiter geeigneten Weise präsentiert. Dabei bestehen aus wissenschaftlicher Sicht zwei wesentliche Herausforderungen. Einerseits ist eine umfassende Erkennung der realen Arbeitssituation die Ausgangsbasis für die Bereitstellung passender Informationen. Andererseits muss der Prozess der Informationsbereitstellung ad-hoc und situationsbezogen also automatisch erfolgen. Um diese beiden Herausforderungen zu adressieren, wurde der Demonstrator entwickelt, welcher durch die sensorische Instrumentierung eines handelsüblichen mobilen Werkstattwagens (siehe Abbildung) die Grundlage für weitere Forschungen und Experimente. Dabei verarbeitet eine kognitive Architektur die Sensorereignisse und nutzt Kontextwissen aus dem Anwendungsbereich zur intelligenten Planung von Montageaufgaben, Führung des Montagearbeiters sowie zur Entwicklung einer Handlungsstrategie in Fehlerfällen.

intelligenter_werkstattwagen.png intelligenter_werkstattwagen2.png

Abb. 4: Plant@Hand Intelligenter Werkstattwagen (links) und Ausschnitt aus der Montageassistenz-Anwendung (rechts)

Kontextualisierte Annotation im intelligenten Werkstattwagen

Die strukturierten Anweisungen des intelligenten Werkstattwagens lassen sich durch zusätzliche unstrukturierte Informationen ergänzen. Insbesondere Kommentare erfahrenerer Kollegen sollen intuitiv in das System eingepflegt werden können und bei Bedarf wieder angezeigt werden.

Ähnlich einem Notizzettel werden zusätzliche Informationen zum Arbeitsschritt schnell und einfach erstellt und als Annotation an diesen angeheftet. Im Hintergrund werden die Annotationen über eine semantische Wissensbasis in den Domain-Kontext eingeordnet, welcher den aktuellen Arbeitsschritt mit zugehörigen Werkzeugen, Materialien etc. verknüpft. Anhand dieser kontextuellen Zuordnung der Annotation können die Informationen für jeden Arbeitsschritt angezeigt werden, für den sie relevant sind, auch wenn die Information selbst in einem anderen Arbeitsschritt festgehalten wurde. So können wichtige Informationen, die beispielsweise ein bestimmtes Werkzeug betreffen, in jedem Arbeitsschritt angezeigt werden, der dieses Werkzeug benutzt. Der User wird dabei nicht direkt mit der komplexen semantischen Wissensbasis konfrontiert; er profitiert nur von ihrer Logik, die im Hintergrund verarbeitet wird. 

 

kontextualisierte_annotation_im_werkstattwagen.png

Abb. 5: Die semantische Wissensbasis im Hintergrund des Intelligenten Werkstattwagens ermöglicht eine kontextbezogene Speicherung und Bereitstellung der Anmerkungen

Smartwatches in der Produktion

Die Visualisierung von arbeitsrelevantem Handlungswissen während der Durchführung einer Montageaufgabe führt bisher häufig zu unnötigen Unterbrechungen, um zwischen Werkstück und Informationsdarstellung zu wechseln. Dabei wächst die mentale Beanspruchung des Montagearbeiters durch den fortlaufenden Kontextwechsel. Mobile Assistenztechnologien, wie zum Beispiel Augmented-Reality- oder auch Virtual-Reality-Brillen, sind technologisch für eine Anwendung im industriellen Bereich noch nicht weit genug ausgereift. Das Konzept der Smartwatches hat sich jedoch als mögliche Übergangsalternative zur Informationsvisualisierung und mobilen Assistenz eingebettet im Arbeitsprozess erwiesen. Im Rahmen der wissenschaftlichen Arbeiten am Thema der situativen Darstellung von Handlungswissen im Prozess der Montage, wurden verschiedene Ansätze zur systematischen und iterativen Anleitung des Montagearbeiters im Konzept Follow-me zusammengeführt und mit Hilfe von Smartwatches in Demonstratoren überführt. Diese wurden mit Metawatch SRATA sowie der zweiten Generation der Sony Smartwatch realisiert (siehe Abbildung).

 

smartwatches_in_der_produktion.png

Abb. 6: Visualisierung von Handlungswissen auf der Sony Smartwatch (links) sowie der Metawatch STRATA (rechts)

Hybrid Human & Industrial Robot (HIR) Cooperative Manufacturing

The fast changes in the market needs have reshaped the whole image of the factory of the future. An essential concept of this image is integrating the human worker along with the industrial robot in a close cooperative work. As the result of the continuous advances in the field of human-robot interaction, a safe physical interaction is no longer a problem. Combing the advantages of human and robot in same work environment will maximizes the production performance. Humans by nature have the ability to cope with high level of uncertainty in the manufacturing cell, by offering real time solutions for unexpected problems. On the contrary, a robot cannot innovate new solutions as it lacks to the human consciousness. This means a robot solution for a certain problem should be pre-programmed by a human. However robots have other abilities which make them very special asset in the industrial fields. Robots are reliable in terms of speed, payload and accuracy.

Controlling the information interaction in an HIR cooperative workcell is the main purpose of this demonstration. For this reason, a holonic control system has been deployed as the first 

proposed solution approach. A holon is an autonomous and cooperative building block of a manufacturing system for transforming, transporting, storing and/or validating information. A holon consists of a physical and communication component, IEC 61499 FB architecture has been used to build the holon physical component, while the communication component has been built using autonomous reactive agent architecture. The holonic control system should be conscious of any changes in the production components and functions. Inasmuch as it is able to adjust its performance to quickly respond to the production requirements. Therefore the goal of the demonstration is to show the ability of our holonic control system to

 

  • Automatically manage the flow of the product tasks over HIR cooperative shop floor.
  • Distribute the task assignments over the shop floor resources (i.e. workers or robots).
  • Provide intelligent information for the worker for performing an assigned task.
  • Facilitate the freedom of a human worker to manually assign tasks for the industrial robot.
  • Supervise the whole process performance.
  • Achieving important flexible manufacturing concepts such as customizability, scalability, modularity, integrability and diagnosability.

 

hybrid_human_and_industrial_robot.png

Abb.7: Human & Industrial Robot Cooperative Workcell Control System

DiaTrace

Die Ausführung von Sport und körperlicher Aktivität ist für ein gesundes Leben wichtig. Oftmals liegt jedoch eine falsche Selbstwahrnehmung über die Ausführung der körperlichen Aktivität vor, so dass diese objektiv gemessen werden muss. Der Demonstrator DiaTrace basiert auf handelsüblichen Smartphones und Smartwatches und nutzt die integrierten Beschleunigungssensoren der Geräte zur Klassifizierung der ausgeführten Aktivität. DiaTrace demonstriert die mobile Merkmalsextraktion und Mustererkennung von heterogenen Sensorsignalen zur Unterscheidung von Basisaktivitäten wie Gehen, Laufen, Springen, Fahrrad- oder Autofahren. Die in DiaTrace entwickelte Methodik kann ebenso zur Unterscheidung unterschiedlicher Arbeitsgeräte im Arbeitsumfeld genutzt werden, um aus der Nutzungsdauer und klassifizierten Gerätetyp die individuelle Belastung der Hand-Arm-Vibration abzuleiten.

 

diatrace.png

Abb. 8: Demonstrator DiaTrace zur Erkennung der körperlichen Aktivität

Erkennung und Analyse von Mikrovibration

Zur Gewährleistung einer verlässlichen Erkennung von Anomalien muss zuvor eine Filterung von Artefakten und Signalrauschen erfolgen. Da dies in derzeitigen Technologien und Nutzungsszenarien nie vollständig möglich ist, ergibt sich die Notwendigkeit einer Signalbewertung und Ergebnisbewertung. Zudem kann durch das Erlernen von speziellen Signaturen eine Filterung von abweichenden Signalen erfolgen und eine stabile Erkennung selbst bei verrauschten Daten realisiert werden.

Bei jedem Warmblüter findet ein ständiges, unwillkürliches, sich rhythmisch wiederholendes Zusammenziehen von Muskelfasern statt. Diese Kontraktionen führen, überlagert von weiteren Körperaktivitäten, zu kleinsten Bewegungen, die sich je nach Muskel und Körperpartie in Frequenz und Stärke unterscheiden und verstärken sich bei Kälte oder unter Belastung. Diese Mikrovibrationen sind auch bei Gesunden messbar, allerdings kaum sichtbar. Smart Devices sind mit ihren Sensoren in der Lage, auch kleinste Bewegung des menschlichen Körpers sowie der Extremitäten zu erfassen und zu analysieren.

Der Demonstrator zur Mikrovibration zeigt, dass durch geeignete Analysemethoden der gemessenen Sensorsignale Rückschlüsse auf die Intensität und Beschaffenheit der Mikrovibration geschlossen werden können. Er zeigt wie die dauerhafte, mit bloßem Auge sichtbare und nicht sichtbare Bewegung der Menschlichen Muskulatur (Makro- und Mikro-Bewegung) genutzt werden kann um eine Bewertung, Filterung und Verarbeitung von gemessenen Signalen zu ermöglichen. Hierdurch wird auch eine Erkennung möglich, ob ein mobiles Gerät am Körper getragen wird oder, ob es abgelegt ist.

Zudem kann das System Anomalien im Tremor erkennen und in Form einer Visualisierung erkennbar machen.

 

tremor_app.png

Abb. 9: Demonstrator zur Erkennung und Analyse von Mikrovibrationen

Notfalluhr

Ein automatisches Notfallerkennungssystem ist sowohl für hilfsbedürftige Personen im privaten Umfeld, älteren Menschen, die bis ins hohe Alter selbstständig zu Hause leben oder auch für Menschen, die gefährlichen Arbeitsumgebungen ausgesetzt sind, eine komfortable Maßnahme zur Absicherung. Damit ein automatisierter Notruf ausgelöst werden kann, ist jedoch die vorliegende Situation zu bewerten und Entscheidungen für einen möglichen Notfall zu treffen. Darüber hinaus sind im Falle eines Notfalles die Kenntnis über die Vitalparameter wie Puls- oder Atemfrequenz der betroffenen Person hilfreich.

Smartwatches, die über Internetkonnektivität und mobile Sensorik verfügen, können neben manuell abgesetzten Notfällen, über spezielle Algorithmik Aktivitätsdaten ermitteln, Vitaldaten erfassen und mittels kontextbezogenen Auswertungsroutinen automatisch Notfälle erkennen.

Der Notfalluhr-Demonstrator zeigt den Prototypen eines mobilen Gesundheitssystems, welches automatisch Aktivitäts- und Schlafdaten erfasst sowie in Ruhe- und Schlafphasen eine Vitaldatenerkennung auf Grundlage der Analyse von kleinsten Bewegungen am Handgelenk ermöglicht.

 

notfalluhr.png

Abb. 10: Demonstrator eines mobilen Gesundheitssystems (Notfalluhr)

ShoeSoleSense (Insole)

ShoeSoleSense is a proof of concept, novel body worn interface - an insole that enables location independent hands-free interaction through the feet. Forgoing hand or finger interaction is especially beneficial when the user is engaged in real world tasks. In virtual environments as moving through safety training applications is often conducted via finger input, which is not very suitable. To enable a more intuitive interaction, alternative control concepts utilize gesture control, which is usually tracked by statically installed cameras in CAVE-like-installations. Since tracking coverage is limited, problems may also occur. The introduced prototype provides a novel control concept for virtual reality as well as real life applications. Demonstrated functions include movement control in a virtual reality installation such as moving straight, turning and jumping. Furthermore the prototype provides additional feedback by heating up the feet and vibrating in dedicated areas on the surface of the insole.

 

shoe_sole_sense.png

Abb. 11: The proposed prototype „ShoeSoleSense“ can easily insert into a shoe.

InEar BioFeedController (Headset)

Nowadays control of a mobile device usually requires the use of a touch screen. In everyday life, while engaged in real world tasks, it is sometimes impossible to control a device with one’s hands. Speech control is the most common solution to tackle this problem, but it is still error prone, uncomfortable and works poorly when ambient noise is present. Alternative control concepts must work in everyday surroundings with significant levels of noise and should not make use of the hands or require visual focus on the device itself. The prototype presented here is an attempt to provide a better solution to such situations: a headset that enables hands-free and eyes-free interaction for incoming phone calls as well as music player control. It enables safe control of the device in mobile situations as it neither requires the user to come to a standstill, nor does it distract his visual focus.

 

inear_biofeed_controller.png

Abb. 12: The first “InEar BioFeedController” prototype has gold-plated physiological sensors attached to silicon pads.

Botential (Wristband)

I present Botential, an on-body interaction method for a wearable input device that can identify the location of on-body tapping gestures, using the entire human body as an interactive surface to expand the usually limited interaction space in the context of mobility. When the sensor is being touched, Botential identifies a body part’s unique electric signature, which depends on its physiological and anatomical compositions. This input method exhibits a number of advantages over previous approaches, which include: 1) utilizing the existing signal the human body already emits, to accomplish input with various body parts, 2) the ability to also sense soft and long touches, 3) an increased sensing range that covers the whole body, and 4) the ability to detect taps and hovering through clothes.

 

botential.png

Abb. 13: Botential mounted on a band: the EMG mid / end and the CS electrode are surrounded by copper pads which are hidden under black isolation tape and enable hovering.