Projekt TrueSize

Das Projekt TrueSize verfolgt das Ziel der Körpervermessung mit mobilen Endgeräten. Dabei werden Videos von Personen etwa mithilfe von Smartphones erstellt und infolgedessen dreidimensionale Informationen extrahiert. Die so erstellten 3D-Modelle können im Weiteren etwa zur Verbesserung von Konfektionsgrößen verwendet werden, welche aktuell nur sehr sporadisch aktualisiert und zudem nicht standardisiert durchgeführt werden. Durch diese Entwicklung hätten Anwender (Produzenten, Händler, …) einen Zugang zu aktuellen Maßtabellen, könnten weltweite Veränderungen beobachtet und sofort darauf reagieren.

Laufzeit: 01.05.2019 – 31.07.2021
Partner: TrueSize
Fördergeber: Österreichische Forschungsförderungsgesellschaft FFG – Basisprogramm

Publikationen 2

2021

Zwettler G., Praschl C., Baumgartner D., Zucali T., Turk D., Hanreich M., Schuler A. (2021). Three-step Alignment Approach for Fitting a Normalized Mask of a Person Rotating in A-Pose or T-Pose Essential for 3D Reconstruction based on 2D Images and CGI Derived Reference Target Pose.In Proceedings of the 16th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 5: VISAPP, ISBN 978-989-758-488-6, pages 281-292. DOI: 10.5220/0010194102810292.

Visual Computing

DOI: 10.5220/0010194102810292

Die Rekonstruktion von 3D-Silhouetten eines menschlichen Körpers, der sich vor einem monokularen Kamerasystem dreht, ist aufgrund der elastischen Verformung und der Positionsfehlanpassung durch die Körperbewegung eine sehr anspruchsvolle Aufgabe. Nichtsdestotrotz ist die Kenntnis der 3D-Körperform eine Schlüsselinformation zur präzisen Bestimmung der eigenen Konfektionsgrößen, z. B. für den präzisen Einkauf zur Reduzierung von Rücksendungen im Online-Handel. In diesem Beitrag wird ein neuartiger dreistufiger Ausrichtungsprozess vorgestellt, der As-Rigid-As-Possible (ARAP)-Transformationen verwendet, um das aus OpenPose abgeleitete Körpergelenkskelett mit einem CGI-gerenderten Referenzmodell in A- oder T-Position zu normalisieren. Mit weiteren distanzbasierten Registrierungsschritten werden Positionsfehlanpassungen und Ungenauigkeiten aus der OpenPose-Gelenkschätzung kompensiert, so dass eine 3D-Silhouettenrekonstruktion eines sich bewegenden und elastischen Objekts möglich ist, ohne dass statistische Formmodelle erforderlich sind. Tests sowohl mit künstlichen als auch mit realen Daten belegen die Einsatzbarkeit dieses Ansatzes, wobei alle drei Ausrichtungs-/Registrierungsschritte für die Datennormalisierung der 3D-Silhouetten-Rekonstruktion wesentlich und ausreichend sind.

2020

Baumgartner D., Praschl C., Zucali T., Zwettler G. Hybrid Approach for Orientation-Estimation of Rotating Humans in Video Frames Acquired by Stationary Monocular Camera.

Visual Computing Machine Learning

Die präzise Orientierungsschätzung des Menschen in Bezug auf die POSE eines monokularen Kamerasystems ist aufgrund allgemeiner Aspekte der Kamerakalibrierung und der Verformbarkeit eines sich bewegenden menschlichen Körpers eine anspruchsvolle Aufgabe. Daher sind neuartige Ansätze des Deep Learnings zur präzisen Bestimmung der Objektposition in der Robotik schwer für die Analyse des menschlichen Körpers zu adaptieren. In dieser Arbeit wird ein hybrider Ansatz für die genaue Schätzung eines menschlichen Körpers relativ zu einem Kamerasystem vorgestellt, wodurch die aus poseNet abgeleiteten Ergebnisse durch Anwendung der Analyse des optical Flows in einem Frame-zu-Frame-Vergleich deutlich verbessert werden. Der menschliche Körper, der sich vor Ort in T-Position dreht, wird dabei in der Mitte ausgerichtet, wobei Objektverfolgungsmethoden zur Kompensation von Translationen der Körperbewegung angewendet werden. Nach der 2D-Skelettextraktion wird der optical Flow für einen ROI-Bereich berechnet, der relativ zur vertikalen Skelettverbindung, die die Wirbelsäule darstellt, ausgerichtet ist, und Bild für Bild verglichen. Um die Eignung der Kleidung als Grundlage für gute Merkmale zu bewerten, wird die lokale Pixelhomogenität berücksichtigt, um den optical Flow auf heterogene Regionen mit Unterscheidungsmerkmalen wie Aufdruckmuster, Knöpfe oder Schnallen neben der lokalen Beleuchtungsänderung zu beschränken. Basierend auf dem mittleren optical Flow mit grober Annäherung an die axiale Körperform als Ellipse wird eine Genauigkeit zwischen 0,1° und 2,0° für die Orientierungsschätzung auf einem Frame-zu-Frame-Vergleich erreicht, der sowohl auf CGI-Renderings als auch auf realen Videos von Personen, die Kleidung mit unterschiedlichen Merkmalen tragen, ausgewertet und validiert wird.