Ganzkörper-Animoji auf dem iPhone: Open-Source Projekt trackt Bewegungen und projiziert sie auf Avatar

Die Forschergruppe der Carnegie Mellon University in Pittsburgh, Pennsylvania, die hinter dem ganzen steckt, taufte das Projekt "Pose-On-the-Go". Leiter des Projektes ist Chris Harrison, welcher als Professor an dem Lehrstuhl Human-Computer Interface Institute tätig ist. Die Gruppe verfolgt das Ziel, Bewegungen einer Person in Echtzeit zu tracken und dann auf einen virtuellen Charakter zu übertragen, genannt Animoji. Anders, als etwa bei VR-Brillen, sollen dabei keine zusätzlichen Sensoren zum Einsatz kommen müssen. Lediglich ein iPhone mit intakter Kamera soll genügen. Eine eigens für den Zweck programmierte App koordiniert das ganze, indem eine Vielzahl an Bildinformationen ausgewertet, neu zusammengesetzt und auf das Animoji übertragen wird.

Das Tracking umfasst nicht nur einfache Armbewegungen, sondern jegliche Bewegungen des Körpers. So soll jeder Schritt erfasst werden können, aber auch, in welcher Lage sich der Körper überhaupt befindet, ob er beispielsweise sitzt oder steht. Die Präzision des ganzen sei laut der Forscher bereits "ziemlich gut", aber noch verbesserungswürdig. Mit Hilfe von professionellen Motion-Capture-Systemen, die eigenlich für Filmproduktionen gedacht sind, überprüften sie die Genauigkeit. Das Ergebnis war eine durchschnittliche Abweichung von 21 Zentimetern vom realen Wert, gemessen an Kopf-; Arm- und Beinbewegungen. Allerdings beruhe die gesamte Messung nur auf Schätzdaten, weswegen die Software auch ausgetrickst werden könne.

Das Projekt war nicht nur zum Vergnügen der Forscher gedacht, sondern könnte tatsächlich in Zukunft Anwendung in teils wichtigen Bereichen finden. Vor allem im Gesundheitsbereich und Fitnessbereich könnte ein Ganzkörper-Tracking nützlich sein, zum Beispiel, um Sportübungen wie Kniebeugen oder Liegestützen genau zu verfolgen und zu zählen. In der Physiotherapie wäre die Funktion nützlich. Und natürlich könnte sie auch zum Vergnügen der Nutzer eingesetzt werden, zum Beispiel in Spielen oder in den Nachrichten, ähnlich den Memojis.

Das Projekt ist ein Open-Source Projekt, was bedeutet, dass der gesamte Code der programmierten App einsehbar ist. Zur Zeit ist der Quellcode noch nicht veröffentlicht, aber die Forscher wollen dies bald nachholen. Dann wird er auf Github zu finden sein. Das Verfahren haben die Forscher Chris Harrison, Karan Ahuja, Sven Mayer und Mayank Goel bereits in einem kurzen Paper beschrieben. Außerdem hat das Projekt eine eigene Webseite erhalten. Dort könnt ihr Fotos, animierte Bilder und Videos finden.

Ob es die Animojis tatsächlich in eine Version von iOS oder iPadOS schaffen werden, bleibt ungewiss. Da der Quellcode aber öffentlich gemacht werden soll, könnte dieser aber zumindest im Rahmen von Apps verwendet werden und somit dann doch auf dem iPhone zu finden sein.