Facebook AI peut désormais utiliser un seul mot pour imiter le style de texte à partir d’images

Facebook AI peut désormais utiliser un seul mot pour imiter le style de texte à partir d'images

Exemple de TextStyleBrush remplaçant du texte sur des panneaux manuscrits dans un stand de fruits. Crédit : Facebook

Facebook a annoncé son nouveau projet d’IA TextStyleBrush, un logiciel capable de copier le style d’un texte manuscrit ou imprimé dans une image en utilisant un seul mot. Les utilisateurs peuvent utiliser ce modèle pour modifier et remplacer le texte des photos.

TextStyleBrush présente une avancée par rapport aux systèmes d’IA précédents qui ne peuvent copier que du texte à partir de photos à l’aide de tâches bien définies et de plusieurs exemples. Alors que ce système est encore au stade de la recherche, les scientifiques espèrent que cette nouvelle IA pourra les aider avec des légendes et des messages personnalisés créatifs ainsi qu’une traduction linguistique photo-réaliste en réalité augmentée (AR).

Jusqu’à présent, les images générées par l’IA ont déjà progressé rapidement, de la reconstruction visuelle d’événements historiques au rendu d’une photo pour ressembler à une peinture de Renoir ou de Van Gogh. Désormais, avec un logiciel capable d’enregistrer tous les types de calligraphie et de typographie, TextStyleBrush promet également d’interpréter divers types de rotations et de transformations de texte, tels que les caractères incurvés et les déformations naturelles entre le papier et le stylo.

Ce logiciel fonctionne de manière similaire aux outils de pinceau de style dans les traitements de texte, uniquement adaptés à l’esthétique du texte dans les images. Peut-être plus important encore, cet outil est auto-supervisé, ce qui en fait le programme de rendu de texte visuel le plus indépendant à ce jour. Un exemple pourrait être TextStyleBrush remplaçant les panneaux de produits manuscrits dans un stand d’épicerie. Le contenu original à partir duquel le programme apprend est appelé échantillon source, tandis que le style associé utilisé par l’IA selon cet échantillon est appelé style source.

Contrairement aux méthodes d’interprétation textuelles précédentes qui utilisent des paramètres définis tels que la supervision du style cible et la police de caractères, TextStyleBrush considère tous les éléments d’une image, y compris le texte et les autres visuels. Le programme utilise ensuite cette apparence globale de zone de texte comme point de référence pour toutes les images associées, évitant ainsi le besoin de se recycler chaque fois que le logiciel rencontre un exemple similaire.

Néanmoins, Facebook reste conscient du potentiel d’utilisation de ce type de technologie pour des activités malveillantes, telles que des attaques de texte deepfake. Pour atténuer de telles attaques, Facebook partagera des références de recherche avec l’ensemble de données Deepfake Detection Challenge pour contribuer à la base de connaissances plus large des deepfakes en ajoutant du faux texte aux études existantes sur les faux visages.


Textnets : logiciel pour rendre de grandes quantités de texte visuellement compréhensibles


Plus d’information:
« L’IA peut désormais copier le style de texte dans les images à l’aide d’un seul mot. » À propos de Facebook, Facebook, 11 juin 2021, about.fb.com/news/2021/06/ai-c … -just-a-single-word/

© 2021 Réseau Science X

Citation: Facebook AI peut désormais utiliser un seul mot pour imiter le style de texte à partir d’images (2021, 16 juin) récupérées le 16 juin 2021 à partir de https://techxplore.com/news/2021-06-facebook-ai-word-mimic-text. html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.