Améliorer les écrans tactiles avec l’IA

Améliorer les écrans tactiles avec l'IA

La méthode « CapContact » permet de localiser les touches avec les doigts sur les écrans tactiles des téléphones portables et des tablettes avec beaucoup plus de précision que la technologie actuelle à l’échelle de l’industrie. (Vidéo: CHI / SIPLAP)

Les informaticiens de l’ETH ont développé une nouvelle solution d’IA qui permet aux écrans tactiles de détecter avec une résolution huit fois plus élevée que les appareils actuels. Grâce à l’IA, leur solution peut déduire beaucoup plus précisément où les doigts touchent l’écran.

La saisie rapide d’un message sur un smartphone entraîne parfois la saisie de mauvaises lettres sur le petit clavier ou sur d’autres boutons de saisie dans une application. Les capteurs tactiles qui détectent la saisie du doigt sur l’écran tactile n’ont pas beaucoup changé depuis leur lancement sur les téléphones mobiles au milieu des années 2000.

En revanche, les écrans des smartphones et des tablettes offrent désormais une qualité visuelle sans précédent, ce qui est encore plus évident à chaque nouvelle génération d’appareils: fidélité des couleurs plus élevée, résolution plus élevée, contraste plus net. Un iPhone de dernière génération, par exemple, a une résolution d’affichage de 2532×1170 pixels. Mais le capteur tactile qu’il intègre ne peut détecter qu’une entrée avec une résolution d’environ 32×15 pixels, soit près de 80 fois inférieure à la résolution de l’écran: « Et nous voilà, nous nous demandons pourquoi nous faisons autant d’erreurs de frappe sur le petit clavier? Nous pensons que nous devrions pouvoir sélectionner des objets avec une précision de pixel par le toucher, mais ce n’est certainement pas le cas », déclare Christian Holz, professeur d’informatique à l’ETH au laboratoire de détection, d’interaction et de perception (SIPLAB) dans une interview au département d’informatique de l’ETH. Série « Spotlights ».

Avec son doctorant Paul Streli, Holz a maintenant développé une intelligence artificielle (IA) appelée CapContact qui donne aux écrans tactiles une super-résolution afin qu’ils puissent détecter de manière fiable quand et où les doigts touchent réellement la surface de l’écran, avec une précision beaucoup plus élevée que les appareils actuels. fais. Cette semaine, ils ont présenté leur nouvelle solution d’IA à ACM CHI 2021, la principale conférence sur les facteurs humains dans les systèmes informatiques.

Reconnaître où les doigts touchent l’écran

Les chercheurs de l’ETH ont développé l’IA pour les écrans tactiles capacitifs, qui sont les types d’écrans tactiles utilisés dans tous nos téléphones mobiles, tablettes et ordinateurs portables. Le capteur détecte la position des doigts par le fait que le champ électrique entre les lignes du capteur change en raison de la proximité d’un doigt lorsqu’il touche la surface de l’écran. Parce que la détection capacitive capture intrinsèquement cette proximité, elle ne peut pas réellement détecter le vrai contact – ce qui est cependant suffisant pour l’interaction, car l’intensité d’un toucher mesuré diminue de façon exponentielle avec la distance croissante des doigts.

La détection de capacité n’a jamais été conçue pour déduire avec une précision extrême où un contact se produit réellement sur l’écran, dit Holz: « Il détecte uniquement la proximité de nos doigts. » Les écrans tactiles des appareils actuels interpolent ainsi l’endroit où la saisie est effectuée avec le doigt à partir de mesures de proximité grossières. Dans leur projet, les chercheurs visaient à combler les deux lacunes de ces capteurs omniprésents: d’une part, ils devaient augmenter la résolution actuellement faible des capteurs et, d’autre part, ils devaient trouver comment déduire précisément les zone de contact entre le doigt et la surface d’affichage à partir des mesures capacitives.






La méthode CapContact permet de localiser les touches avec les doigts sur les écrans tactiles des téléphones mobiles et des tablettes beaucoup plus précisément que la technologie actuelle à l’échelle de l’industrie. Crédit: CHI / SIPLAP

Par conséquent, CapContact, la nouvelle méthode développée à cet effet par Streli et Holz, combine deux approches: d’une part, ils utilisent les écrans tactiles comme capteurs d’image. Selon Holz, un écran tactile est essentiellement une caméra de profondeur à très basse résolution qui peut voir à environ huit millimètres de loin. Une caméra de profondeur ne capture pas d’images colorées, mais enregistre une image de la proximité des objets. D’autre part, CapContact exploite cette idée pour détecter avec précision les zones de contact entre les doigts et les surfaces grâce à un nouvel algorithme d’apprentissage en profondeur développé par les chercheurs.

« Premièrement, » CapContact « estime les zones de contact réelles entre les doigts et les écrans tactiles au toucher », explique Holz, « Deuxièmement, il génère ces zones de contact à huit fois la résolution des capteurs tactiles actuels, permettant à nos appareils tactiles de détecter le toucher beaucoup plus précisément. . « 

Pour former l’IA, les chercheurs ont construit un appareil personnalisé qui enregistre les intensités capacitives, c’est-à-dire les types de mesures que nos téléphones et tablettes enregistrent, et les vraies cartes de contact grâce à un capteur de pression optique haute résolution. En capturant une multitude de touches de plusieurs participants au test, les chercheurs ont capturé un ensemble de données de formation, à partir duquel CapContact a appris à prédire les zones de contact en super-résolution à partir des données de capteur grossières et basse résolution des appareils tactiles d’aujourd’hui.

Faible résolution de l’écran tactile comme source d’erreur

«Dans notre article, nous montrons qu’à partir de la zone de contact entre votre doigt et l’écran d’un smartphone telle que estimée par CapContact, nous pouvons déduire les emplacements de saisie tactile avec une plus grande précision que les appareils actuels», ajoute Paul Streli. Les chercheurs montrent qu’un tiers des erreurs sur les appareils actuels sont dus à la détection d’entrée à basse résolution. CapContact peut supprimer ces erreurs grâce à la nouvelle approche d’apprentissage en profondeur du chercheur.

Les chercheurs démontrent également que CapContact distingue de manière fiable les surfaces tactiles même lorsque les doigts touchent l’écran très près les uns des autres. C’est le cas, par exemple, du geste de pincement, lorsque vous déplacez votre pouce et votre index sur un écran pour agrandir des textes ou des images. Les appareils d’aujourd’hui peuvent difficilement distinguer les touches adjacentes proches.

Les résultats de leur projet remettent désormais en question la norme actuelle de l’industrie en matière d’écrans tactiles. Dans une autre expérience, les chercheurs ont utilisé un capteur de résolution encore plus faible que ceux installés dans nos téléphones mobiles aujourd’hui. Néanmoins, CapContact a mieux détecté les touches et a pu dériver les emplacements d’entrée avec une plus grande précision que les appareils actuels à la résolution habituelle d’aujourd’hui. Cela indique que la solution d’intelligence artificielle des chercheurs pourrait ouvrir la voie à une nouvelle détection tactile dans les futurs téléphones mobiles et tablettes pour fonctionner de manière plus fiable et précise, tout en réduisant l’encombrement et la complexité en termes de fabrication de capteurs.

Pour permettre aux autres de s’appuyer sur leurs résultats, les chercheurs publient leur modèle d’apprentissage en profondeur, leur code et leur ensemble de données sur la page de leur projet.


Exposé sur les brevets d’Apple: la force et la détection tactile basées sur les ultrasons


Plus d’information:
Paul Streli et coll. CapContact: Reconstruction de zones de contact haute résolution sur capteurs capacitifs, Actes de la conférence CHI 2021 sur les facteurs humains dans les systèmes informatiques (2021). DOI: 10.1145 / 3411764.3445621

Citation: Amélioration des écrans tactiles avec l’IA (2021, 14 mai) récupéré le 14 mai 2021 sur https://techxplore.com/news/2021-05-screens-ai.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.