Un nouvel outil de programmation transforme les croquis et l’écriture manuscrite en code

35e symposium annuel ACM sur les logiciels et technologies d’interface utilisateur (2022). DOI : 10.1145/3526113.3545619″ width=”800″ height=”530″/>

Les chercheurs de l’Université Cornell ont créé une interface qui permet aux utilisateurs d’écrire à la main et de dessiner dans le code informatique, un défi pour le codage conventionnel, qui repose généralement sur la frappe.

L’interface basée sur un stylet, appelée Notate, permet aux utilisateurs de cahiers informatiques numériques d’ouvrir des canevas de dessin et d’écrire des diagrammes à la main dans des lignes de code informatique traditionnel et numérisé.

Alimentée par un modèle d’apprentissage en profondeur, l’interface relie les contextes de programmation manuscrite et textuelle : la notation dans le diagramme manuscrit peut faire référence au code textuel et vice versa. Par exemple, Notate reconnaît les symboles de programmation manuscrits, comme “n”, puis les relie à leurs équivalents dactylographiés.

“Un système comme celui-ci serait formidable pour la science des données, en particulier avec des tracés et des graphiques d’esquisse qui interagissent ensuite avec le code textuel”, a déclaré Ian Arawjo, auteur principal de l’article et doctorant dans le domaine des sciences de l’information.

“Notre travail montre que l’infrastructure actuelle de programmation nous freine. Les gens sont prêts pour ce type de fonctionnalité, mais les développeurs d’interfaces pour taper du code doivent en tenir compte et prendre en charge les images et les interfaces graphiques à l’intérieur du code.”

Arawjo a également déclaré que le travail montre une nouvelle voie à suivre en introduisant un codage basé sur l’intelligence artificielle et basé sur un stylet à un moment où les tablettes graphiques sont de plus en plus utilisées.

“Des outils comme Notate sont importants car ils nous ouvrent de nouvelles façons de penser à ce qu’est la programmation et à la manière dont différents outils et pratiques de représentation peuvent changer cette perspective”, a déclaré Tapan Parikh, professeur agrégé de sciences de l’information et co-auteur de l’article.

Des informations sur l’outil ont été publiées dans les actes de Le 35e symposium annuel ACM sur les logiciels et technologies d’interface utilisateur.