Tech News

Technik & Digital

Das neue Projekt von Google verwandelt Ihr Gesicht in einen Cursor für Android-Apps


Es ist genau ein Jahr her, seit Google Project Gameface eingeführt hat, und jetzt ist dieses Tool zur Barrierefreiheit bei Spielen endlich für Entwickler verfügbar. Dies gab Avneet Singh, Produktmanager bei Google Partner Innovation, gestern in einer nichtöffentlichen Sitzung auf der I/O 2024-Veranstaltung bekannt. Google nennt dies im Wesentlichen „Eine Open-Source-Gaming-Maus zum Freisprechen“.

Um es einfach auszudrücken: Dieses Gaming-Barrierefreiheitstool ist eigentlich ein Mauszeiger Das nutzt Headtracking und Mimik. Das Werkzeug nutzt die Kamera Ihres Android-Geräts um wie vorgesehen zu funktionieren. Google hat außerdem ein spezielles YouTube-Video hochgeladen, das dies veranschaulicht Maus funktioniert, was Sie überprüfen können:

Project Gameface nutzt die Face Landmarks Detection API von MediaPipe, um diese Gesichtsausdrücke zu verfolgen und letztendlich dem Benutzer die Steuerung des Cursors zu ermöglichen. In seinem Blog erklärt Google:

Wir haben die gleiche Idee repliziert, um einen neuen virtuellen Cursor auf ein Android-Gerät zu bringen. Wir verwenden den Android-Eingabehilfedienst, um einen neuen Cursor zu erstellen, und nutzen die Face Landmarks Detection API von MediaPipe, um den Cursor so zu programmieren, dass er sich entsprechend der Kopfbewegung eines Benutzers bewegt.

Dies sehr API enthält 52 Gesichtsausdrücke hervorgerufen durch 52 solcher Face Blendshape-Werte. Mit dem Tool können Sie diese Gesten dann grundsätzlich abbilden, indem Sie sie mit einer mobilen Aktion verknüpfen. Sobald das erledigt ist, kann es losgehen.

Das neue Projekt von Google verwandelt Ihr Gesicht in einen Cursor für Android-Apps
Bild mit freundlicher Genehmigung: Google Developers

Anschließend erstellt das Tool ein Kamera-Feed-Overlay, um Sie darüber zu informieren, was Sie gerade tun und wie es auf dem Bildschirm funktioniert. Dies ist, wie Google angibt, „erleichtert genaue Schwellenwerteinstellungen und ein tieferes Verständnis von Gesten.“ Darüber hinaus ermöglicht Ihnen Project Gameface auch dies Führen Sie die Drag-Funktion auf Ihrem Android-Gerät ausHände frei.

Letztendlich wird Project Gameface es Menschen mit Behinderungen ermöglichen, die vollwertige Android-Variante zu nutzen, ohne ihre Hände benutzen zu müssen. Ein X-Nutzer, der letztes Jahr die Google I/O Connect-Veranstaltung in Bengaluru besuchte, konnte das Tool in der Praxis sehen.

Man sieht deutlich, dass es, wenn man sich erst einmal daran gewöhnt hat, ein solides Potenzial hat. Der Benutzer scheint keine Probleme mit dem Zielen als solchen zu haben, was ebenfalls lobenswert ist. Es ist schön zu sehen, wie sich Project Gameface aus einer Zusammenarbeit mit dem querschnittsgelähmten Videospiel-Streamer Lance Carr entwickelt hat.

Allerdings ergreift nicht nur Google eine solche Initiative. Obwohl Elon Musks Neuralink kürzlich aus den falschen Gründen Schlagzeilen machte, war seine Geburt das Ergebnis des Wunsches, gelähmten Patienten dabei zu helfen, digitale Schnittstellen mit ihrem Verstand zu steuern.

Wir sind auf dem Weg in eine freihändige Zukunft, zum Guten, und ich bin auf jeden Fall begeistert, das volle Potenzial solcher Projekte zu sehen. Was ist mit dir? Was halten Sie von Googles Project Gameface-Initiative? Lass es mich unten in den Kommentaren wissen.



Source link