Demonstratoren (Mobile Devices)

Smartwatches in der Produktion

Die Visualisierung von arbeitsrelevantem Handlungswissen während der Durchführung einer Montageaufgabe führt bisher häufig zu unnötigen Unterbrechungen, um zwischen Werkstück und Informationsdarstellung zu wechseln. Dabei wächst die mentale Beanspruchung des Montagearbeiters durch den fortlaufenden Kontextwechsel. Mobile Assistenztechnologien, wie zum Beispiel Augmented-Reality- oder auch Virtual-Reality-Brillen, sind technologisch für eine Anwendung im industriellen Bereich noch nicht weit genug ausgereift. Das Konzept der Smartwatches hat sich jedoch als mögliche Übergangsalternative zur Informationsvisualisierung und mobilen Assistenz eingebettet im Arbeitsprozess erwiesen. Im Rahmen der wissenschaftlichen Arbeiten am Thema der situativen Darstellung von Handlungswissen im Prozess der Montage, wurden verschiedene Ansätze zur systematischen und iterativen Anleitung des Montagearbeiters im Konzept Follow-me zusammengeführt und mit Hilfe von Smartwatches in Demonstratoren überführt. Diese wurden mit Metawatch SRATA sowie der zweiten Generation der Sony Smartwatch realisiert (siehe Abbildung).

Visualisierung von Handlungswissen auf der Sony Smartwatch (links) sowie der Metawatch STRATA (rechts)

 

DiaTrace

Die Ausführung von Sport und körperlicher Aktivität ist für ein gesundes Leben wichtig. Oftmals liegt jedoch eine falsche Selbstwahrnehmung über die Ausführung der körperlichen Aktivität vor, so dass diese objektiv gemessen werden muss. Der Demonstrator DiaTrace basiert auf handelsüblichen Smartphones und Smartwatches und nutzt die integrierten Beschleunigungssensoren der Geräte zur Klassifizierung der ausgeführten Aktivität. DiaTrace demonstriert die mobile Merkmalsextraktion und Mustererkennung von heterogenen Sensorsignalen zur Unterscheidung von Basisaktivitäten wie Gehen, Laufen, Springen, Fahrrad- oder Autofahren. Die in DiaTrace entwickelte Methodik kann ebenso zur Unterscheidung unterschiedlicher Arbeitsgeräte im Arbeitsumfeld genutzt werden, um aus der Nutzungsdauer und klassifizierten Gerätetyp die individuelle Belastung der Hand-Arm-Vibration abzuleiten.

Demonstrator DiaTrace zur Erkennung der körperlichen Aktivität

 

Erkennung und Analyse von Mikrovibration

Zur Gewährleistung einer verlässlichen Erkennung von Anomalien muss zuvor eine Filterung von Artefakten und Signalrauschen erfolgen. Da dies in derzeitigen Technologien und Nutzungsszenarien nie vollständig möglich ist, ergibt sich die Notwendigkeit einer Signalbewertung und Ergebnisbewertung. Zudem kann durch das Erlernen von speziellen Signaturen eine Filterung von abweichenden Signalen erfolgen und eine stabile Erkennung selbst bei verrauschten Daten realisiert werden.

Bei jedem Warmblüter findet ein ständiges, unwillkürliches, sich rhythmisch wiederholendes Zusammenziehen von Muskelfasern statt. Diese Kontraktionen führen, überlagert von weiteren Körperaktivitäten, zu kleinsten Bewegungen, die sich je nach Muskel und Körperpartie in Frequenz und Stärke unterscheiden und verstärken sich bei Kälte oder unter Belastung. Diese Mikrovibrationen sind auch bei Gesunden messbar, allerdings kaum sichtbar. Smart Devices sind mit ihren Sensoren in der Lage, auch kleinste Bewegung des menschlichen Körpers sowie der Extremitäten zu erfassen und zu analysieren.

Der Demonstrator zur Mikrovibration zeigt, dass durch geeignete Analysemethoden der gemessenen Sensorsignale Rückschlüsse auf die Intensität und Beschaffenheit der Mikrovibration geschlossen werden können. Er zeigt wie die dauerhafte, mit bloßem Auge sichtbare und nicht sichtbare Bewegung der Menschlichen Muskulatur (Makro- und Mikro-Bewegung) genutzt werden kann um eine Bewertung, Filterung und Verarbeitung von gemessenen Signalen zu ermöglichen. Hierdurch wird auch eine Erkennung möglich, ob ein mobiles Gerät am Körper getragen wird oder, ob es abgelegt ist.

Zudem kann das System Anomalien im Tremor erkennen und in Form einer Visualisierung erkennbar machen.

Demonstrator zur Erkennung und Analyse von Mikrovibrationen

 

Notfalluhr

Ein automatisches Notfallerkennungssystem ist sowohl für hilfsbedürftige Personen im privaten Umfeld, älteren Menschen, die bis ins hohe Alter selbstständig zu Hause leben oder auch für Menschen, die gefährlichen Arbeitsumgebungen ausgesetzt sind, eine komfortable Maßnahme zur Absicherung. Damit ein automatisierter Notruf ausgelöst werden kann, ist jedoch die vorliegende Situation zu bewerten und Entscheidungen für einen möglichen Notfall zu treffen. Darüber hinaus sind im Falle eines Notfalles die Kenntnis über die Vitalparameter wie Puls- oder Atemfrequenz der betroffenen Person hilfreich.

Smartwatches, die über Internetkonnektivität und mobile Sensorik verfügen, können neben manuell abgesetzten Notfällen, über spezielle Algorithmik Aktivitätsdaten ermitteln, Vitaldaten erfassen und mittels kontextbezogenen Auswertungsroutinen automatisch Notfälle erkennen.

Demonstrator eines mobilen Gesundheitssystems (Notfalluhr)

Der Notfalluhr-Demonstrator zeigt den Prototypen eines mobilen Gesundheitssystems, welches automatisch Aktivitäts- und Schlafdaten erfasst sowie in Ruhe- und Schlafphasen eine Vitaldatenerkennung auf Grundlage der Analyse von kleinsten Bewegungen am Handgelenk ermöglicht.

 

ShoeSoleSense (Insole)

ShoeSoleSense is a proof of concept, novel body worn interface - an insole that enables location independent hands-free interaction through the feet. Forgoing hand or finger interaction is especially beneficial when the user is engaged in real world tasks. In virtual environments as moving through safety training applications is often conducted via finger input, which is not very suitable. To enable a more intuitive interaction, alternative control concepts utilize gesture control, which is usually tracked by statically installed cameras in CAVE-like-installations. Since tracking coverage is limited, problems may also occur. The introduced prototype provides a novel control concept for virtual reality as well as real life applications. Demonstrated functions include movement control in a virtual reality installation such as moving straight, turning and jumping. Furthermore the prototype provides additional feedback by heating up the feet and vibrating in dedicated areas on the surface of the insole.

The proposed prototype „ShoeSoleSense“ can easily insert into a shoe.

 

InEar BioFeedController (headset)

Nowadays control of a mobile device usually requires the use of a touch screen. In everyday life, while engaged in real world tasks, it is sometimes impossible to control a device with one’s hands. Speech control is the most common solution to tackle this problem, but it is still error prone, uncomfortable and works poorly when ambient noise is present. Alternative control concepts must work in everyday surroundings with significant levels of noise and should not make use of the hands or require visual focus on the device itself. The prototype presented here is an attempt to provide a better solution to such situations: a headset that enables hands-free and eyes-free interaction for incoming phone calls as well as music player control. It enables safe control of the device in mobile situations as it neither requires the user to come to a standstill, nor does it distract his visual focus.

The first “InEar BioFeedController” prototype has gold-plated physiological sensors attached to silicon pads.

 

Botential (wristband)

I present Botential, an on-body interaction method for a wearable input device that can identify the location of on-body tapping gestures, using the entire human body as an interactive surface to expand the usually limited interaction space in the context of mobility. When the sensor is being touched, Botential identifies a body part’s unique electric signature, which depends on its physiological and anatomical compositions. This input method exhibits a number of advantages over previous approaches, which include: 1) utilizing the existing signal the human body already emits, to accomplish input with various body parts, 2) the ability to also sense soft and long touches, 3) an increased sensing range that covers the whole body, and 4) the ability to detect taps and hovering through clothes.