Projekt EDEN

Aufzüge sind eine Transportart, die aus dem modernen urbanen Leben nicht mehr wegzudenken ist. Bei Notfäallen in Aufzügen kann ein Notfallschalter betätigt werden, um Hilfe zu rufen. Dies ist nicht immer möglich. Daher entwickelt die Forschungsgruppe AIST ein System zur Notfallerkennung in Aufzügen unter Verwendung von RGB-D Kameras, welche RGB Bilder und Tiefenbilder liefern. Um Personen in unterschiedlichen Posen und verschiedene Objekte zu erkennen und um deren Masken zur Verfolgung über mehrere Kamera Bilder zu verwenden, wird ein Instanzsegmentierungs-Modul mit dem Mask R-CNN Algorithmus zum System hinzugefügt. Dank Metallwänden und Spiegel von Aufzugumgebungen enthalten die Bilder der RGB-D Kamers viele Reflektionen und starkes Rauschen. Die Verwendung von RGB Bildern mit Instanzsegmentierungs-Algorithmen, wie dem Mask RCNN Algorithmus, ist wohlbekannt und wird oft durchgeführt. Dies wirft die Frage auf, ob Instanzsegmentierung durch die Verwendung von stark reflektierenden und rauschenden Tiefenbildern verbessert werden kann. Diese Arbeit vergleicht vier verschiedene Modellversionen, die sich durch ihre Eingabe und dem verwendeten Backbone Netzwerk unterscheiden. Die Erste verwendet ausschließlich RGB Bilder, die Zweite ausschließlich Tiefenbilder, die Dritte verwendet RGB-D Bilder. Diese drei Modellversionen verwenden ResNet-FPN als Backbone Netzwerk. Die vierte Modellversion verwendet RGB-D Bilder und ein FuseNet-FPN Netzwerk. Diese Arbeit führt außerdem den Elevator RGB-D Datensatz ein, welcher RGB-D Bilder aus Aufzug-Szenen enthält. Um einen fairen Vergleich zu erreichen, werden die Hyperparameter der Modellversionen mit Tree-structured Parzen Estimators optimiert. Um die Generalisierung der trainierten Modelle zu verbessern, werden die Modelle zuerst mit dem SUN RGB-D Datenset vortrainiert. Mittels Transferlernen werden die Modelle mit den vortrainierten Gewichten initialisiert und anschließend mit dem Elevator RGB-D Datensatz trainiert. Diese Arbeit beweist die Äquivalenz der Resultate unter Verwendung von RGB-D Bildern und von RGB Bildern zur Instanzsegmentierung in stark reflektierenden und rauschenden Aufzugumgebungen. Die ausschließliche Verwendung der Tiefenbilder führt hingegen zu schlechteren Resultaten. Wenn ein, auf RGB-D Bilder spezialisiertes Backbone-Netzwerk verwendet wird, verbessert dies die Resultate von Mask R-CNN.

Das Erkennen und Reagieren auf Notsituationen im täglichen Leben war in den letzten Jahren immer ein Forschungsthema, konzentrierte sich aber immer entweder auf Personen, die für Notsituationen anfällig sind, wie z.B. ältere Menschen, oder auf breiterer Ebene, wie z.B. das Erkennen von Aktivitäten in großen Menschenmengen oder Fußgängern. Aufgrund der schnell zunehmenden Verfügbarkeit und Leistung externer Sensoren sowie der Einführung zuverlässigerer Daten sollte die Notfallerkennung und -verwaltung auch in engen Räumen, wie z.B. Aufzügen, möglich sein.Zusammen mit VIEW – Elevator als Domänen Experten und Partner der FH-OOE AIST Forschungsgruppe konzentriert sich diese Arbeit auf die Einführung von Aktivitätserkennung und, darauf aufbauend Notfallerkennung im Aufzugsbereich. Es baut auf einem zustandslosen System zur Objekt- und Personenerkennung auf, das im Rahmendes Forschungsprojektes implementiert wurde, und verwendet die erzeugten zustandslosen Daten des Systems. Aber anstatt stochastische Methoden oder künstliche Intelligenz zu verwenden, zielt diese Arbeit darauf ab, das Problem der Notfalldetektion durch die Einführung einer generischen zustandsorientierten Komponente zu lösen, da sie einfache,deterministische und vom Menschen lesbare Aktionen und Ergebnisse ermöglicht. Es vergleicht mehrere Zustandsmaschinen-Designs und schlägt schließlich eine neue Zustandsmaschinen-Definition vor, die auf farbigen Petrinetzen aufbaut, dem dynamischen, nicht-deterministischen Petrinetz (DNPN). Basierend auf dem DNPN wird eine Zustandsmaschine entworfen, die die Verfolgung des Aufzugszustands und aller seiner Insassen, einschließlich Personen und ihrer Objekte, ermöglicht. Darüber hinaus wird ein Hilfssystem entworfen, das die Systembereitschaft, die Verbindung mit der Zustandsma-schine und die weitere Auswertung des aktuellen Aufzugsszenarios und gegebenenfalls die Vorhersage eines möglichen Notfalls ermöglicht.Die Handhabung und Bewertung dieser Notfallszenarien wird in einem Prototypdargestellt, der im Rahmen des Forschungsprojekts implementiert wird. Es implementiert das DNPN und Datenstrukturen, um die zustandslosen Daten für den Zustandautomaten zu aggregieren. Letztendlich wird der Prototyp als Ganzes verwendet, um die Zustandsmaschine zu bewerten, indem zuvor generierte Testdaten zugeführt werden, die ein festes Skript und Ergebnis haben. Am Ende werden die Ergebnisse der Zustandsmaschine diskutiert, wobei auf das erwartete Ergebnis verwiesen wird, das im Skript definiert ist, sowie Vorschläge für die weitere Arbeit zur Verbesserung der DNPN-Definition und des gesamten Systems.

EDEN steht für Emergency Detection in Elevator Networks und ist ein Projekt der AIST Forschungsgruppe an der Fachhochschule Oberösterreich, zielt auf den Einsatz von Sensoren und Kameras Notfälle in Aufzügen automatisch zu erkennen, sie zu bewerten, in einen Kontext zu setzen und geeignete Maßnahmen. Diese Bachelorarbeit befasst sich mit der Klassifizierung des Status einer Aufzugstür. Um bestimmte Notfälle richtig klassifizieren zu können, ist es von entscheidender Bedeutung, dass das Klassifizierungssystem kennt alle beteiligten Parameter. Eine bestimmte Situation kann unterschiedlich interpretiert werden, wenn alle Parameter berücksichtigt werden. Der aktuelle Zustand der Tür ist in diesem Fall ein sehr wichtiger Parameter. Das EDEN-Projekt verwendet eine Intel RealSense D435-Kamera als Gerät zur Erfassung von Bildern und Tiefeninformationen. Diese Bilder und die entsprechenden Tiefeninformationen werden vom Projekt analysiert, das in C++ geschrieben ist und das OpenCV-Framework für Computer Vision verwendet. In einem ersten Teil dieser Arbeit wird die Verwendung der von der Kamera bereitgestellten Tiefen- und RGB-Informationen zur Erkennung des Status einer Aufzugstür untersucht. In der Forschung werden die verschiedenen möglichen Ansätze diskutiert. Die praktikabelsten Ansätze werden in einem Proof-of-Concept ausgearbeitet. Der erste Schritt bei der Erkennung des Türstatus ist die Lokalisierung der Tür selbst unter Verwendung von Tiefen- und RGB-Informationen. Danach folgt die Extraktion des Bodens, die durch den Einsatz von Kantenerkennungs- und Extraktionstechniken erreicht wird. Mit der Lokalisierung der Tür und des Fußbodens, die der Anwendung bekannt sind, kann der Status der Tür bestimmt werden. Um diesen Status korrekt zu klassifizieren, konzentriert sich die Forschung auf verschiedene Methoden zur Erkennung des Status und Strategien zur Reduzierung von Lärmstörungen, die entweder durch das Aufnahmegerät oder durch Objekte, die die Sicht auf die Tür blockieren, verursacht werden. Der zweite Teil der Arbeit konzentriert sich auf das Testen der Fähigkeiten der Intel RealSense D435 Kamera, genauer gesagt auf die Genauigkeit der Tiefeninformationen, die sie liefern kann. Um bestimmten ISO-Normen zu entsprechen, darf eine Aufzugskabine keinen Höhenunterschied von mehr als 20 Millimetern aufweisen, verglichen mit der äußeren Etage. Es wird untersucht, ob die Kamera D435 eine so geringe Höhe erkennen kann. Unterschied bei gleichzeitiger Beibehaltung einer visuellen Übersicht über die gesamte Aufzugskabine, so dass die Anwendung noch immer auftretende Notfälle erkennen.

Für Millionen von Menschen sind Aufzüge jeden Tag ein unverzichtbarer Bestandteil. Die meisten Menschen verlassen sich darauf, dass Aufzüge 24/7 im Jahr funktionieren. Aber was ist mit einem menschlichen Versagen im Aufzug, wie einem Herzinfarkt? Es gibt solche reale Fälle die hätten verhindert werden können, wenn ein autonomes System Menschen mit einem Notfall vor Ort entdeckt hätte. Die automatische Notfallerkennung in Aufzügen ist von Interesse, da sie genau das Szenario menschlichen Versagens trifft. Das Projekt, in dem diese Arbeit realisiert wird, besteht aus einem Client, der autonom im Aufzug läuft und den Notzustand darin verfolgt, sowie einem optimierenden Hintergrunddienst. Diese Arbeit schlägt ein System als Prototyp vor, das darauf abzielt, die Selbstoptimierung der Klassifizierung im Aufzugssystem als  Hintergrunddienst zu lösen. Für ein solches System müssen mehrere Probleme bearbeitet werden. Erstens, wie man möglicherweise die richtige Klasse für neu ankommende Daten aus einem echten Notfall oder einer Aufnahme extrahiert. Zweitens, welche Parametereinstellung für einen Klassifikator die effizienteste ist und wann ein Klassifikator vollständig getestet ist. Dieser kann dann auf dem laufenden Client im Aufzug eingesetzt werden. Eine zusätzliche Herausforderung für dieses Projekt besteht darin, konform gegenüber der Datenschutz-Grundverordnung (DSGVO) zu sein und keine Personen zu überwachen, die die Aufzüge benutzen. Das Ziel dieser Arbeit ist es einen Prototyp zu entwickeln, der auf die Lösung der Hauptprobleme eingeht. Ein Beispiel dafür ist die Dynamik, mit der neue Klassen während der Laufzeit gefunden werden, damit nicht zu große Ressourcen für die Erstellung eines neuen flachen Klassifikators verschwendet werden. Die Ergebnisse zeigen, basierend auf zwei verschiedenen Datensätzen, die Zeitspanne, die benötigt wird, um eine bessere Lösung zu finden, als das manuelle Testen nach einer guten Lösung. Eines der wichtigsten Ergebnisse ist die Gesamtstruktur der Lösung, die modernste Technologien in einem System kombiniert und die eine Lösung zeigt, welche in Zukunft leicht erweiterbar ist.

In dieser Arbeit soll eine Evaluierung von verschiedenen Algorithmen des maschinellen Lernens, für die Informationsgewinnung aus Bilddaten zur späteren Notfallerkennung in Aufzugsystemen, durchgeführt werden. Dazu wird, zur Ermittlung der Informationen, ein Klassifikations-Prototyp erstellt, welcher in drei Teile aufgeteilt wird. Im ersten Schritt werden Bilder von segmentierten Objekten analysiert und eruiert, ob es sich dabei um einen Menschen oder Gegenstand handelt. Im zweiten Teil werden Gegenstände in weitere Objektkategorien klassifiziert, wodurch eine Aussage über eine bestehende Gefahrensituation gemacht werden kann. Im dritten Teil werden, als Mensch klassifizierte, Objekte einer Haltungsklassifikation auf Basis ihrer Silhouettenform unterzogen, wodurch später ein Notfallsignal ausgelöst werden kann, sollte eine Person über einen längeren Zeitraum am Boden liegen. Die getesteten Algorithmen werden von OpenCV angeboten und beschränken sich dabei auf K-Nearest Neighbor, Support Vector Machine, Random Forest sowie neuronales Netz. Die Ergebnisse zeigen, dass sich Support Vector Machines, mit einer Trefferquote von über 98%, unter Verwendung von HOG-Deskriptoren, bestens für eine Kategorisierung von Objekten in Mensch und Gegenstand eignen. Auch lieferte diese Kombination, im Vergleich zu anderen Klassifikatoren, zwar die besten Resultate für die weitere Gruppierung von Gegenständen, allerdings sind diese mit einer 73-prozentigen Klassifikationsrate nicht sonderlich befriedigend. Bei der Haltungsklassifikation mittels Silhouetten-Merkmale, erwies sich das neuronale Netz, mit einer korrekten Klassifikation von 92% aller Testdaten, als der geeignetste Klassifikator.