Vos yeux peuvent contrôler votre smartphone via un nouvel outil de suivi du regard

utilisateur de smartphone

Crédit : Pixabay/CC0 Domaine public

Alors que de plus en plus de personnes regardent des films, montent des vidéos, lisent les actualités et suivent les médias sociaux sur leurs smartphones, ces appareils se sont développés pour accueillir les écrans plus grands et la puissance de traitement plus élevée nécessaires aux activités plus exigeantes.

Le problème avec les téléphones encombrants est qu’ils nécessitent souvent une seconde main ou des commandes vocales pour fonctionner, ce qui peut être encombrant et peu pratique.

En réponse, les chercheurs du Future Interfaces Group du Human-Computer Interaction Institute (HCII) de l’Université Carnegie Mellon développent un outil appelé EyeMU, qui permet aux utilisateurs d’exécuter des opérations sur un smartphone en combinant le contrôle du regard et de simples gestes de la main.

“Nous avons posé la question : ‘Existe-t-il un mécanisme plus naturel à utiliser pour interagir avec le téléphone ?’ Et le précurseur de beaucoup de ce que nous faisons est de regarder quelque chose », a déclaré Karan Ahuja, doctorant en interaction homme-ordinateur.

L’analyse et la prédiction du regard ne sont pas nouvelles, mais atteindre un niveau de fonctionnalité acceptable sur un smartphone serait une avancée notable.

“Les yeux ont ce que vous appelleriez le problème tactile de Midas”, a déclaré Chris Harrison, professeur agrégé au HCII et directeur du Future Interfaces Group. “Vous ne pouvez pas avoir une situation dans laquelle quelque chose se passe sur le téléphone partout où vous regardez. Trop d’applications s’ouvriraient.”

Un logiciel qui suit les yeux avec précision peut résoudre ce problème. Andy Kong, diplômé en informatique, s’intéressait aux technologies de suivi oculaire depuis son arrivée à la CMU. Il trouvait les versions commerciales chères, alors il a écrit un programme qui utilisait la caméra intégrée d’un ordinateur portable pour suivre les yeux de l’utilisateur, qui à son tour déplaçait le curseur sur l’écran – une première étape importante vers EyeMU.






Les chercheurs de la CMU montrent comment l’estimation du regard à l’aide de la caméra orientée vers l’utilisateur d’un téléphone peut être associée à des gestes de mouvement pour permettre une technique d’interaction rapide sur les téléphones portables. Crédit : Université Carnegie Mellon

“Les téléphones actuels ne répondent que lorsque nous leur demandons des choses, que ce soit par la parole, des tapotements ou des clics de bouton”, a déclaré Kong. “Si le téléphone est largement utilisé maintenant, imaginez à quel point il serait plus utile si nous pouvions prédire ce que l’utilisateur veut en analysant le regard ou d’autres données biométriques.”

Il n’a pas été facile de rationaliser le package pour qu’il puisse fonctionner rapidement sur un smartphone.

“C’est une contrainte de ressources. Vous devez vous assurer que vos algorithmes sont suffisamment rapides”, a déclaré Ahuja. “Si cela prend trop de temps, votre œil avancera.”

Kong, l’auteur principal de l’article, a présenté les conclusions de l’équipe avec Ahuja, Harrison et le professeur adjoint de HCII Mayank Goel à l’an dernier Conférence internationale sur l’interaction multimodale. Avoir un article évalué par des pairs accepté lors d’une conférence majeure a été une grande réussite pour Kong, un chercheur de premier cycle.

Kong et Ahuja ont avancé ce premier prototype en utilisant l’outil Face Mesh de Google pour étudier les modèles de regard des utilisateurs regardant différentes zones de l’écran et restituer les données de cartographie. Ensuite, l’équipe a développé un prédicteur de regard qui utilise la caméra frontale du smartphone pour verrouiller ce que le spectateur regarde et l’enregistrer comme cible.

L’équipe a rendu l’outil plus productif en combinant le prédicteur de regard avec les capteurs de mouvement intégrés du smartphone pour activer les commandes. Par exemple, un utilisateur peut regarder une notification suffisamment longtemps pour la sécuriser en tant que cible et faire glisser le téléphone vers la gauche pour la rejeter ou vers la droite pour répondre à la notification. De même, un utilisateur peut rapprocher le téléphone pour agrandir une image ou éloigner le téléphone pour désengager le contrôle du regard, tout en tenant un grand latte dans l’autre main.

“Les grandes entreprises technologiques comme Google et Apple se sont rapprochées de la prédiction du regard, mais le simple fait de regarder quelque chose seul ne vous y mène pas”, a déclaré Harrison. “La véritable innovation de ce projet est l’ajout d’une deuxième modalité, comme le fait d’effleurer le téléphone vers la gauche ou la droite, combiné à la prédiction du regard. C’est ce qui le rend puissant. Cela semble si évident rétrospectivement, mais c’est une idée intelligente qui rend EyeMU beaucoup plus intuitif.”


De nouvelles techniques de suivi du regard pourraient modifier l’interaction avec l’ordinateur


Plus d’information:
Andy Kong et al, EyeMU Interactions : Gaze + IMU Gestures on Mobile Devices, Actes de la Conférence internationale sur l’interaction multimodale 2021 (2021). DOI : 10.1145/3462244.3479938

Fourni par l’Université Carnegie Mellon

Citation: Vos yeux peuvent contrôler votre smartphone via un nouvel outil de suivi du regard (2022, 22 avril) récupéré le 22 avril 2022 sur https://techxplore.com/news/2022-04-eyes-smartphone-gaze-tracking-tool.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.