Facebook prépare.un clavier virtuel pour n’importe quelle surface

0
47



Des chercheurs de chez Facebook viennent de présenter un clavier virtuel basé sur le suivi des mains grâce aux caméras intégrées dans un casque de réalité virtuelle. Il ne nécessite aucun périphérique supplémentaire, et peut être utilisé sur toute surface plane.

Les casques de réalité virtuelle Oculus Quest et Quête 2, qui vient de sortir, propose une fonction expérimentale de suivi des mains (suivi des mains) très pratique pour manipuler certains objets ou naviguer dans des menus sans manette. En utilisant les caméras externes, le casque est capable de vérifier les mains et de suivre le mouvement. Cependant, les gestes sont limités, et le suivi un peu capricieux.

Visiblement Facebook, ne Oculus est une filiale, travaille toujours sur cette fonction. Dans un article présenté à la conférence UIST 2020, des chercheurs de Laboratoires de réalité Facebook ont dévoilé leurs travaux sur une nouvelle technique de suivi des principaux besoins précis pour écrire sur un clavier virtuel.

Utiliser un clavier virtuel pour l’instant de porter des gants avec des marqueurs. © ACM SIGCHI

Une frappe aussi rapide que sur un clavier physique

La technique permet d’écrire sur une surface plane, sans clavier physique ni entrée tactile. Le système utilise les caméras d’un casque et un réseau neuronal convolutif temporel pour demander le mouvement des mains. Il intègre un modèle de langage et un algorithme de recherche en compensateur de faisceau les erreurs de suivi, mais aussi les erreurs de placement des mains. Sans la sensation tactile des touches, les mains des utilisateurs ont tendance à dériver légèrement. Pour améliorer la détection des doigts, les utilisateurs ont dû porter des gants avec des marqueurs.

Les résultats sont très prometteurs, avec une vitesse de frappe de 73 mots par minute, équivalente à celle obtenue avec un clavier physique. Les chercheurs ont cependant encore du travail, car le clavier virtuel est pour l’instant limité aux minuscules et fonctionne mal avec tout mot qui n’est pas dans le dictionnaire. De plus, le système a dû être calibré pour chaque utilisateur, à chaque fois d’enregistrer plus une heure de saisie sur un clavier physique. Leur système de suivi est également beaucoup plus précis que celui présent sur les casques comme le Quête. Cependant, cette technologie pourrait à terme permettre d’utiliser les casques de réalité virtuelle ou augmentée pour travailler n’importe où.

Cela vous intéresse aussi

Intéressé par ce que vous venez de lire?

LEAVE A REPLY

Please enter your comment!
Please enter your name here