Publikationen

C. Praschl, A. Pointner, D. Baumgartner, G. Zwettler. Imaging framework: An interoperable and extendable connector for image-related Java frameworks. SoftwareX, Volume 16. 2021.

DOI: https://doi.org/10.1016/j.softx.2021.100863

Abstrakt

Die Zahl der Aufgaben in den Bereichen Computer Vision und Bildverarbeitung hat in den letzten Jahren zugenommen. Obwohl Python in diesem Bereich meist die erste Wahl ist, gibt es Situationen, in denen die Verwendung einer anderen Programmiersprache wie Java bevorzugt werden sollte. Aus diesem Grund gibt es mehrere Java-basierte Frameworks wie z.B. OpenIMAJ, ND4J oder mehrere OpenCV-Wrapper. Leider sind diese Frameworks nicht interoperabel. In dieser Arbeit wird das Open-Source Imaging Framework vorgestellt, um genau dieses Problem zu lösen. Das Projekt verfügt über ein Konzept zur Kombination mehrerer Frameworks und bietet eine interoperable und erweiterbare Grundlage für 9 bildbezogene Projekte mit 10 verschiedenen Bilddarstellungen in Java.

Helm, Emmanuel, and Oliver Krauss. „How can Interoperability Support Process Mining in Healthcare?.“ PODS4H.

Abstrakt

Eine Diskussion über die Beziehung zwischen dem Konzept der Interoperabilität von Informationssystemen im Gesundheitswesen und der prozessorientierten Datenanalyse. Ziel ist es zu zeigen, dass einige der aktuellen Herausforderungen des Process Mining im Gesundheitswesen auch Interoperabilitätsprobleme sind. Durch die Beteiligung bei der Lösung dieser Probleme können wir auch unsere Datenquellen verbessern.

A. Schuler and G. Kotsis, „Mining API Interactions to Analyze Software Revisions for the Evolution of Energy Consumption,“ in 2021 2021 IEEE/ACM 18th International Conference on Mining Software Repositories (MSR),, 2021 pp. 312-316.

DOI: https://doi.ieeecomputersociety.org/10.1109/MSR52588.2021.00043

Abstrakt

Mit der weit verbreiteten Nutzung und Einführung mobiler Plattformen wie Android ist ein neues Problem der Softwarequalität aufgetaucht – der Stromverbrauch. Die Entwicklung energieeffizienter Software und Anwendungen erfordert jedoch Wissen und entsprechende Werkzeuge zur Unterstützung von Entwicklern mobiler Geräte. Zu diesem Zweck präsentieren wir einen Ansatz zur Untersuchung der Energieentwicklung von Software-Revisionen auf der Grundlage ihrer API-Interaktionen. Der Ansatz beruht auf der Annahme, dass die Nutzung einer API direkte Auswirkungen auf den Energieverbrauch während der Laufzeit hat. Basierend auf einer empirischen Evaluierung zeigen wir erste Ergebnisse, dass API-Interaktionen als flexibles, leichtgewichtiges und effektives Mittel dienen, um Software-Revisionen hinsichtlich ihrer Energieentwicklung zu vergleichen. In Anbetracht unserer ersten Ergebnisse stellen wir uns vor, dass mobile Entwickler mit unserem Ansatz in Zukunft in der Lage sein werden, Einblicke in die energetischen Auswirkungen von Änderungen im Quellcode während des Lebenszyklus der Softwareentwicklung zu gewinnen.

Zwettler G., Reichhard A. Stradner M., Praschl C., Helm E.(2021). In Proceedings of 33rd European Modeling & Simulation Symposium.

DOI: https://doi.org/10.46354/i3m.2021.iwish.004

Abstrakt

Mit einer Prävalenz von fast 1% stellen potentielle epileptische Anfälle ein erhebliches Gesundheitsrisiko für viele jugendliche Patienten dar. Daher ist ein Monitoring unerlässlich, um frühzeitig gegensteuernde Maßnahmen zu setzen und Schäden zu vermeiden. Die sensorbasierten Überwachungssysteme adressieren hauptsächlich epileptische Anfälle, die durch eine Veränderung des Muskeltonus angezeigt werden, können aber nicht für Patienten eingesetzt werden, die nur das Prévost-Zeichen zeigen. Zur Überwachung des auslösenden Prévost-Zeichens mit geöffneten Augen als kritisches visuelles Merkmal wird in dieser Arbeit die Anwendbarkeit von Deep-Learning-Augenerkennungssystemen auf Nachtsichtbildern als Grundlage für die Modellierung und Klassifizierung des Augenzustandes (geschlossen, geöffnet, nicht sichtbar) evaluiert. Ein ganzheitlicher Forschungsprototyp wird als Proof of Concept vorgestellt, der die Anwendbarkeit von State-of-the-Art-Gesichtserkennung auf Nachtsichtbildern sowie multivariater Merkmalsanalyse auf Graphensegmentierung vor Fragmentierung zeigt, die zur Erkennung des Augenzustands auf robuste Weise anwendbar ist. Die Ergebnisse zeigen eine Einzelbildgenauigkeit bei der Gesichts-/Augenerkennung von 73,91% und 94,44% für die Klassifizierung der geöffneten Augen als Hinweis auf einen potenziell auslösenden epileptischen Anfall. Das Überwachungssystem basiert auf einer Raspberry-Recheneinheit mit zwei angeschlossenen ELP-Nachtsichtkameras und einer Smartphone-App für die Benutzerinteraktion und -konfiguration sowie die visuelle Überwachung auf Abruf. Zukünftige Arbeiten werden zeigen, dass die Einzelbild-Erkennungsrate ausreicht, um eine regelbasierte Überwachungs-Zustandsmaschine mit einer vom Benutzer vordefinierten Empfindlichkeit und Spezifität aufzubauen, indem der visuelle Inhalt als Zeitserie und nicht als Einzelbilder analysiert wird.

Jany J., Zwettler G. (2021). In Proceedings of 33rd European Modeling & Simulation Symposium.

DOI: https://doi.org/10.46354/i3m.2021.iwish.007

Abstrakt

Mit den jüngsten Verbesserungen bei Deep-Learning-Architekturen und der Verfügbarkeit von GPU-Hardware hat sich der Stand der Technik beim Deep Learning (DL) bereits als leistungsstarke Bildverarbeitungstechnologie in der klinischen Routine manifestiert, um Segmentierungsergebnisse mit hoher Genauigkeit zu liefern. Ein Nachteil ist, dass die Black-Box-Natur der Technologie keine natürliche Inspektion und Nachbearbeitung durch medizinische Experten zulässt. Wir präsentieren einen Ansatz zur Graphensegmentierung (GS), der seine Fitnessfunktion auf generische Weise aus beliebigen DL-Ergebnissen ableitet. Um ein effizientes und effektives Post-Processing durch die medizinischen Experten zu ermöglichen, werden in diesem Beitrag verschiedene Interaktionsparadigmen vorgestellt und evaluiert. Der Kompromiss von GS im Vergleich zu den initialen DL-Ergebnissen ist marginal (delta JI= 0,196%), dennoch können potentielle DL-Segmentierungsfehler zuverlässig korrigiert werden. Der intuitive Ansatz zeigt ein hohes Maß an Reproduzierbarkeit sowohl zwischen als auch innerhalb von Benutzern. Die Änderungspropagation der korrigierten Slices hält den Bedarf an Benutzerinteraktion bei der erfolgreichen Korrektur potentieller Schwächen in den DL-Segmentierungen auf ein Minimum. Dadurch werden die ehemals fehleranfälligen Slice-Mini-Batches automatisiert korrigiert, wobei die JI deutlich erhöht wird.

Praschl C. Auserperg-Castell P., Forster-Heinlein B., Zwettler G. (2021). In Proceedings of 33rd European Modeling & Simulation Symposium.

DOI: https://doi.org/10.46354/i3m.2021.emss.042

Abstrakt

In industriellen Bereichen mit zeit- und kostenintensiver manueller oder halbautomatischer Prüfung ist die Nachfrage nach Automatisierung hoch. Durch den Einsatz modernster Deep-Learning-Modelle für die Lokalisierung in bildverarbeitungsbasierten Bereichen wie der Holzstammanalyse kann die Präzision erhöht und gleichzeitig der Bedarf an manueller Inspektion reduziert werden. In dieser Arbeit wird ein YOLO-Netzwerk auf Holzstammbildern trainiert, um die Erkennung von einzelnen Holzstapeln in Bildern mit hunderten und tausenden Instanzen zu ermöglichen. Aufgrund der hohen Variabilität im Maßstab und der großen Menge an Holzstämmen in den Bildern sind herkömmliche YOLO-Architekturen nicht anwendbar. Daher ist eine Kachelung erforderlich, um implizit eine Bildpyramide mit mehreren Auflösungen zu bilden. Aufgrund des Mangels an Trainingsdaten wird neben der üblichen Datenerweiterung auch eine Modellierung der verschiedenen Jahreszeiten und Wetterbedingungen angewendet. Der Holzscheit-Erkennungsprozess kann auf einer Client/Server-Architektur ausgeführt werden, um sowohl eine Vorschau als auch verfeinerte Ergebnisse zu ermöglichen. Die Auswertung auf realen Datensätzen zeigt eine Holzscheit-Erkennungsgenauigkeit von 82,9% mit einem winzigen YOLO-Modell bzw. 94,1% mit einem vollständig verbundenen YOLO-Modell.

Helm E., Schwebach J., Pointner A., Lin A., Rothensteiner V., Keimel D. and Schuler A. (2021). In Proceedings of dHealth 2021 – Health Informatics Meets Digital Health.

Abstrakt

Es fehlt an sicheren offiziellen Kommunikationskanälen für Peer-Review und Peer-Feedback zu medizinischen Befunden. Zielsetzung: Unser Ziel war es, die bestehende österreichische eHealth-Infrastruktur zu nutzen, um Review- und Feedbackprozesse zu ermöglichen. Methoden: Wir erweiterten das IHE XDW Workflow-Dokument, um den Austausch von Textnachrichten (z.B. Kommentare zu Dokumenten oder Bildern) über eine XDS-Infrastruktur zu ermöglichen. Ergebnisse: Der Workflow ermöglichte den Austausch von Kommentaren zu bestimmten Abschnitten von CDA-Dokumenten oder radiologischen Bildern und wurde in einer XDS-Testumgebung verifiziert. Schlussfolgerung: Die vorgestellte Lösung ist ein Proof of Concept, der zur Spezifikation einer neuen IHE-Workflow-Definition führen könnte.

Helm E., Krauss O., Lin A., Pointner A., Schuler A. and Küng J. (2021). Process Mining on FHIR – An Open Standards-Based Process Analytics Approach for Healthcare. In Process Mining Workshops.

Abstrakt

Process Mining hat sich in den letzten Jahren zu einer eigenen Forschungsdisziplin entwickelt, die Möglichkeiten zur Analyse von Geschäftsprozessen auf Basis von Ereignisprotokollen bietet. Im Gesundheitswesen erschweren die Besonderheiten der Organisations- und Behandlungsprozesse, insbesondere im Hinblick auf heterogene Datenquellen, die Anwendung von Process-Mining-Techniken. Diese Arbeit stellt einen Ansatz vor, um etablierte Standards für den Zugriff auf die Audit-Trails von Informationssystemen im Gesundheitswesen zu nutzen und bietet ein automatisiertes Mapping in ein für Process Mining geeignetes Event-Log-Format. Außerdem wird eine Möglichkeit zur Simulation von Prozessen im Gesundheitswesen vorgestellt und zur Validierung des Ansatzes verwendet.

Weitere Informationen hier

Langdon W. and Krauss O. (2021). Genetic Improvement of Data for Maths Functions*. In Proceedings of the Genetic and Evolutionary Computation Conference Companion.

Abstrakt

Genetic Improvement (GI) kann verwendet werden, um eine bessere Qualität der Software zu erreichen und neue Funktionen zu schaffen. Wir zeigen, dass GI die PowerPC Open-Source GNU C Laufzeitbibliothek Quadratwurzel-Funktion in Kubikwurzel, binären Logarithmus log2 und reziproke Quadratwurzel weiterentwickeln kann. Die GI cbrt ist konkurrenzfähig in der Laufzeitleistung und unsere invertierte Quadratwurzel x**-0.5 ist weitaus genauer als die im Videospiel Quake verwendete Approximation. Wir verwenden CMA-ES, um Konstanten in einer Newton-Raphson-Tabelle, die ursprünglich aus glibc’s sqrt stammt, für andere mathematische Funktionen mit doppelter Genauigkeit anzupassen. Solche automatisch angepassten Mathe-Bibliotheken könnten für mobile oder ressourcenarme, IoT-, Mote-, Smart-Dust-, maßgeschneiderte cyber-physische Systeme verwendet werden. Evolutionary Computing (EC) kann nicht nur zur Anpassung von Quellcode, sondern auch von Daten, wie z. B. numerischen Konstanten, eingesetzt werden und könnte eine neue Art der Software-Datenpflege ermöglichen. Dies ist eine spannende Möglichkeit für die GECCO- und Optimierungs-Communities.

Weitere Informationen hier

Pointner A., Praschl C., Krauss O., Schuler A., Helm E., and Zwettler G. (2021). Line Clustering and Contour Extraction in the Context of 2D Building Plans. In Proceedings of 29. International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision.

DOI: https://doi.org/10.24132/CSRN.2021.3101.2

Abstrakt

Für die Analyse eines Gebäudes hinsichtlich seiner Zugänglichkeit oder strukturellen Belastbarkeit sind ausgedruckte 2D-Grundrisse aufgrund der fehlenden Verknüpfung mit semantischen Informationen nicht ausreichend.
Die vorliegende Arbeit greift dieses Problem auf und stellt ein Konzept zur Clusterung klassifizierter Linien eines Grundrisses und zur Erzeugung semantisch angereicherter Konturelemente auf der Basis verschiedener Bildverarbeitungs-,
Algorithmen der Bildverarbeitung, des maschinellen Sehens und des maschinellen Lernens. Ausgehend von einem allgemeinen Ansatz zum Clustering von Linien werden typspezifische Verfahren für Wände, Fenster, Türen und Treppen eingeführt.
Die resultierenden Cluster werden wiederum für eine Konturerzeugung verwendet, die minimal gedrehte Rechtecke verwendet. Diese Rechtecke werden in Polygone transformiert, die durch Nachbearbeitungsschritte verfeinert werden.
Die Evaluierung des Ansatzes erfolgt über eine Positivprüfung anhand eines pixelbasierten Vergleichs des Verfahrensergebnisses. Hierfür werden sowohl automatisch generierte als auch reale Gebäudepläne verwendet.
Die abschließende Auswertung zeigt, dass das Konzept eine Sicherheit von >90% für Türen, Treppen und Fenster und nur etwa 10% für Treppen erreicht, wobei die Laufzeit linear mit der Größe der Eingabe skaliert.

Fernandez-Llatas, C., Munoz-Gama, J., Martin, N., Johnson, O., Sepulveda, M., & Helm, E. (2021). Process Mining in Healthcare. In Interactive Process Mining in Healthcare (pp. 41-52). Springer, Cham.

Abstrakt

Da medizinische Prozesse nur schwer durch einen Konsens von Experten entworfen werden können, ist die Verwendung von verfügbaren Daten zur Erstellung medizinischer Prozesse eine wiederkehrende Idee in der Literatur. Als praktikable Lösung in diesem Bereich werden datengetriebene Paradigmen genannt, die medizinische Experten bei ihren täglichen Entscheidungen unterstützen können. Hinter diesem Paradigma stehen Frameworks, die speziell für den Umgang mit prozessorientierten Problemen entwickelt wurden. Dies ist der Fall beim Process Mining.

Reithmeier, L.; Krauss, O. and Zwettler, G.;  (2021). Transfer Learning and Hyperparameter Optimization forInstance Segmentation with RGB-D Images in Reflective Elevator Environments. In Proceedings of the 16th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 5: VISAPP, ISBN 978-989-758-488-6.

DOI: https://doi.org/10.24132/CSRN.2021.3101.30

Abstrakt

Aufzüge, ein lebenswichtiges Mittel für den städtischen Transport, verfügen in der Regel neben einem Notrufknopf über keine geeigneten Notrufsysteme. Im Falle von bewusstlosen oder anderweitig handlungsunfähigen Fahrgästen kann dies zu tödlichen Situationen führen. Ein kamerabasiertes Überwachungssystem mit KI-basierten Warnungen unter Verwendung einer Aufzugszustandsmaschine kann Fahrgästen helfen, die nicht in der Lage sind, einen Notruf auszulösen. In dieser Forschungsarbeit wird die Anwendbarkeit von RGB-D-Bildern als Input für die Objektsegmentierung in der stark reflektierenden Umgebung einer Aufzugskabine evaluiert. Für die Objektsegmentierung wird ein Region-based Convolution Neural Network (R-CNN) Deep-Learning-Modell so angepasst, dass es neben RGB auch Tiefen-Eingangsdaten verwenden kann, indem Transfer-Learning, Hyperparameter-Optimierung und Re-Training auf einem neu aufbereiteten Aufzugsbild-Datensatz angewendet werden. Auswertungen beweisen, dass mit der gewählten Strategie die Genauigkeit der R-CNN-Instanzsegmentierung auf RGB-D-Daten anwendbar ist, wodurch die mangelnde Bildqualität in den verrauschten und reflektierenden Aufzugskabinen behoben wird. Die mittlere durchschnittliche Genauigkeit (mAP) von 0,753 wird nach der Einbeziehung zusätzlicher Tiefendaten auf 0,768 erhöht und mit zusätzlichem FuseNet-FPN-Backbone auf RGB-D wird die mAP weiter auf 0,794 erhöht. Mit dem vorgeschlagenen Instanzsegmentierungsmodell wird eine zuverlässige Aufzugsüberwachung machbar, wie erste Prototypen und Praxistests beweisen.

Zwettler, G.; Praschl, C.; Baumgartner, D.; Zucali, T.; Turk, D.; Hanreich, M. and Schuler, A. (2021). Three-step Alignment Approach for Fitting a Normalized Mask of a Person Rotating in A-Pose or T-Pose Essential for 3D Reconstruction based on 2D Images and CGI Derived Reference Target Pose.In Proceedings of the 16th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 5: VISAPP, ISBN 978-989-758-488-6, pages 281-292. DOI: 10.5220/0010194102810292

Abstrakt

Die Rekonstruktion von 3D-Silhouetten eines menschlichen Körpers, der sich vor einem monokularen Kamerasystem dreht, ist aufgrund der elastischen Verformung und der Positionsfehlanpassung durch die Körperbewegung eine sehr anspruchsvolle Aufgabe. Nichtsdestotrotz ist die Kenntnis der 3D-Körperform eine Schlüsselinformation zur präzisen Bestimmung der eigenen Konfektionsgrößen, z. B. für den präzisen Einkauf zur Reduzierung von Rücksendungen im Online-Handel. In diesem Beitrag wird ein neuartiger dreistufiger Ausrichtungsprozess vorgestellt, der As-Rigid-As-Possible (ARAP)-Transformationen verwendet, um das aus OpenPose abgeleitete Körpergelenkskelett mit einem CGI-gerenderten Referenzmodell in A- oder T-Position zu normalisieren. Mit weiteren distanzbasierten Registrierungsschritten werden Positionsfehlanpassungen und Ungenauigkeiten aus der OpenPose-Gelenkschätzung kompensiert, so dass eine 3D-Silhouettenrekonstruktion eines sich bewegenden und elastischen Objekts möglich ist, ohne dass statistische Formmodelle erforderlich sind. Tests sowohl mit künstlichen als auch mit realen Daten belegen die Einsatzbarkeit dieses Ansatzes, wobei alle drei Ausrichtungs-/Registrierungsschritte für die Datennormalisierung der 3D-Silhouetten-Rekonstruktion wesentlich und ausreichend sind.