L’IA apprend à taper sur un téléphone comme les humains

L'IA apprend à taper sur un téléphone comme les humains

Le vert indique l’emplacement des yeux, le bleu l’emplacement des doigts. Plus la teinte est foncée, plus les regards ou les mouvements sont longs ou fréquents. À gauche: simulation par le modèle; à droite: observation d’un utilisateur réel. Crédit: Jussi Jokinen / Centre finlandais pour l’intelligence artificielle

Les écrans tactiles sont notoirement difficiles à taper. Comme nous ne pouvons pas sentir les touches, nous nous appuyons sur le sens de la vue pour déplacer nos doigts aux bons endroits et vérifier les erreurs, une combinaison de tâches difficiles à accomplir simultanément. Pour vraiment comprendre comment les gens tapent sur les écrans tactiles, des chercheurs de l’Université Aalto et du Centre finlandais pour l’intelligence artificielle (FCAI) ont créé le premier modèle d’intelligence artificielle qui prédit comment les gens bougent leurs yeux et leurs doigts lorsqu’ils tapent.

Le modèle AI peut simuler la façon dont un utilisateur humain taperait une phrase sur n’importe quelle conception de clavier. Il fait des erreurs, les détecte – mais pas toujours immédiatement – et les corrige à la manière des humains. La simulation prédit également comment les gens s’adaptent à des circonstances alternatives, comme la façon dont leur style d’écriture change lorsqu’ils commencent à utiliser un nouveau système de correction automatique ou une nouvelle conception de clavier.

« Auparavant, la saisie sur écran tactile était principalement comprise du point de vue de la façon dont nos doigts bougent. Les méthodes basées sur l’IA ont contribué à apporter un nouvel éclairage sur ces mouvements: ce que nous avons découvert, c’est l’importance de décider quand et où regarder. Maintenant, nous peut faire de bien meilleures prédictions sur la façon dont les gens tapent sur leur téléphone ou leur tablette », déclare le Dr Jussi Jokinen, qui a dirigé les travaux.

L’étude, qui sera présentée à ACM CHI le 12 mai, jette les bases du développement, par exemple, de solutions de saisie de texte meilleures et même personnalisées.

«Maintenant que nous avons une simulation réaliste de la façon dont les humains tapent sur les écrans tactiles, il devrait être beaucoup plus facile d’optimiser la conception du clavier pour une meilleure saisie – ce qui signifie moins d’erreurs, une frappe plus rapide et, surtout pour moi, moins de frustration», explique Jokinen.







Crédit: Jussi Jokinen / Centre finlandais pour l’intelligence artificielle

En plus de prédire comment une personne générique taperait, le modèle est également capable de prendre en compte différents types d’utilisateurs, comme ceux qui ont une déficience motrice, et pourrait être utilisé pour développer des aides à la saisie ou des interfaces conçues avec ces groupes à l’esprit. Pour ceux qui ne font face à aucun défi particulier, il peut déduire des styles d’écriture personnels – en notant, par exemple, les erreurs qui se produisent à plusieurs reprises dans les textes et les e-mails – quel type de clavier ou de système de correction automatique serait le plus utile à un utilisateur.

La nouvelle approche s’appuie sur les recherches empiriques antérieures du groupe, qui ont fourni la base d’un modèle cognitif de la manière dont les humains typent. Les chercheurs ont ensuite produit le modèle génératif capable de taper indépendamment. Le travail a été réalisé dans le cadre d’un projet plus vaste sur l’IA interactive au Centre finlandais pour l’intelligence artificielle.






Les résultats sont étayés par une méthode classique d’apprentissage automatique, l’apprentissage par renforcement, que les chercheurs ont étendu pour simuler des personnes. L’apprentissage par renforcement est normalement utilisé pour apprendre aux robots à résoudre des tâches par essais et erreurs; l’équipe a trouvé une nouvelle façon d’utiliser cette méthode pour générer un comportement qui correspond étroitement à celui des humains – erreurs, corrections et tout.






« Nous avons donné au modèle les mêmes capacités et limites que nous, en tant qu’humains, avons. Lorsque nous lui avons demandé de taper efficacement, il a compris comment utiliser au mieux ces capacités. Le résultat final est très similaire à la façon dont les humains tapent, sans avoir à le faire. enseignez le modèle avec des données humaines », explique Jokinen.

La comparaison avec les données de typage humain a confirmé que les prédictions du modèle étaient exactes. À l’avenir, l’équipe espère simuler des techniques de frappe lentes et rapides pour, par exemple, concevoir des modules d’apprentissage utiles pour les personnes qui souhaitent améliorer leur frappe.

Le document «Touchscreen Typing As Optimal Supervisory Control» sera présenté le 12 mai 2021 lors de la conférence ACM CHI.


Apprendre aux agents IA à taper sur un clavier braille


Plus d’information:
Trouvez le papier et d’autres matériaux: userinterfaces.aalto.fi/touchscreen-typing/

Fourni par l’Université Aalto

Citation: AI apprend à taper sur un téléphone comme les humains (2021, 12 mai) récupéré le 12 mai 2021 sur https://techxplore.com/news/2021-05-ai-humans.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.