Microsoft vient de dévoiler un nouveau système de reconnaissance des mouvements de la main qui pourrait permettre de manipuler des objets en réalité virtuelle, et même d’avoir la sensation de les toucher.

Deux mains violettes s’enfoncent dans le pelage d’un lapin blanc sans yeux posé sur un cube gris. Sauf pour ceux qui ont l’habitude de caresser des rongeurs aveugles avec des gants de vaisselle excentrique, la scène n’a pas grand-chose de réel.

Et pourtant, la sensation de celui qui, derrière son casque de réalité virtuelle, active ses propres mains sur la tête de ce lapin 3D est, elle, bien réelle.  

VOIR AUSSI : À quoi ressemble vraiment le HoloLens de Microsoft?

Dans la vidéo que vient de mettre en ligne Microsoft, le grattage de rongeur est loin d’être la seule option de toucher en réalité virtuelle. Du scratching de vinyle au pianotage de touches de clavier, la technologie de reconnaissance des mouvements de la main mise au point par les chercheurs permet à celui qui l’utilise de pouvoir, non seulement manipuler des objets en réalité virtuelle, mais aussi éprouver la sensation de les toucher.

Adapter la technologie à l’homme, et non l’inverse

Si Microsoft travaille depuis plusieurs années sur cette technologie, l’entreprise assure "être arrivée à un point où la précision est telle que l’utilisateur peut sentir la main avatar de la même manière que sa main réelle".  

Jamie Shotton, un des chercheurs du projet Handpose, a expliqué dans le poste de blog publié par Microsoft que le système développé mettait un point d’honneur à faire en sorte que la technologie s’adapte à l’humain, et non l’inverse.

"Comment interagissons-nous avec les choses dans le monde réel ? Eh bien, nous les attrapons, nous les touchons avec nos doigts, nous les manipulons. Nous devrions pouvoir faire exactement la même chose avec les objets virtuels", a-t-il expliqué.

En combinant monde virtuel et sensations véritables, les chercheurs de Microsoft espèrent rendre l’interaction avec la réalité virtuelle "plus naturelle" pour ses utilisateurs.

Reconnaître et anticiper les gestes

Mais pour faire en sorte que les mouvements de la main avatar soient aussi fluides que les gestes de la vraie vie, il a fallu plusieurs années aux chercheurs pour parvenir à une technologie aboutie et bien plus précise que toutes celles jusqu'ici développées.

Les chercheurs ont utilisé des millions d’images de mains pour apprendre au système à reconnaître les différents mouvements complexe de la main humaine, mais aussi les anticiper.

Grâce à une caméra 3D positionnée au-dessus d’un écran, tous les mouvements de l’utilisateur sont ainsi analysés et retranscrits le plus précisément possible en temps réel dans le monde virtuel.

Et pour rendre l’expérience encore plus sensible, des objets mous, courbés et malléables – au lieu des éléments généralement rigides des designs 3D – sont mis en scène dans l’interaction virtuelle.  

Si dans sa vidéo de démonstration, il s’agit essentiellement d’attraper, d’appuyer et de taper sur des objets imaginaires, les chercheurs de Microsoft assurent que leur technologie pourrait également servir aux tâches de la vie quotidienne. 

La reconnaissance des gestes de la main pourrait servir à éditer des mails, des présentations, mais aussi peindre ou jouer de la musique sur son écran, même sans casque de réalité virtuelle.

Quelque chose à ajouter ? Dites-le en commentaire.