Les chercheurs affinent le contrôle de la génération d’images IA

Les chercheurs affinent le contrôle de la génération d'images par l'IA

La nouvelle méthode AI permet au système de créer et de conserver une image d’arrière-plan, tout en ajoutant de nouvelles figures. De plus, la méthode permet à l’IA de déplacer ou de modifier des éléments de l’image tout en les conservant de manière identifiable. Par exemple, il peut montrer les mêmes skieurs dans plusieurs poses. Crédit: Tianfu Wu, NC State University

Des chercheurs de l’Université d’État de Caroline du Nord ont développé une nouvelle méthode de pointe pour contrôler la façon dont les systèmes d’intelligence artificielle (IA) créent des images. Le travail a des applications dans des domaines allant de la robotique autonome à la formation en IA.

Le problème est un type de tâche d’IA appelée génération d’images conditionnelle, dans laquelle les systèmes d’IA créent des images qui répondent à un ensemble spécifique de conditions. Par exemple, un système pourrait être formé pour créer des images originales de chats ou de chiens, en fonction de l’animal demandé par l’utilisateur. Des techniques plus récentes se sont appuyées sur cela pour incorporer des conditions concernant une disposition d’image. Cela permet aux utilisateurs de spécifier les types d’objets qu’ils souhaitent voir apparaître à des endroits particuliers de l’écran. Par exemple, le ciel peut aller dans une boîte, un arbre peut être dans une autre boîte, un ruisseau peut être dans une boîte séparée, et ainsi de suite.

Le nouveau travail s’appuie sur ces techniques pour donner aux utilisateurs plus de contrôle sur les images résultantes et pour conserver certaines caractéristiques sur une série d’images.

«Notre approche est hautement reconfigurable», déclare Tianfu Wu, co-auteur d’un article sur le travail et professeur assistant d’ingénierie informatique à NC State. «Comme les approches précédentes, la nôtre permet aux utilisateurs de faire en sorte que le système génère une image en fonction d’un ensemble spécifique de conditions. Mais la nôtre vous permet également de conserver cette image et de l’ajouter. Par exemple, les utilisateurs pourraient demander à l’IA de créer une scène de montagne. Les utilisateurs pourraient alors demander au système d’ajouter des skieurs à cette scène. « 

De plus, la nouvelle approche permet aux utilisateurs de demander à l’IA de manipuler des éléments spécifiques afin qu’ils soient identiques de manière identifiable, mais qu’ils aient bougé ou changé d’une manière ou d’une autre. Par exemple, l’IA peut créer une série d’images montrant les skieurs se tournent vers le spectateur lorsqu’ils se déplacent à travers le paysage.

«Une application pour cela serait d’aider les robots autonomes à« imaginer »à quoi pourrait ressembler le résultat final avant de commencer une tâche donnée», explique Wu. « Vous pouvez également utiliser le système pour générer des images pour l’entraînement à l’IA. Ainsi, au lieu de compiler des images à partir de sources externes, vous pouvez utiliser ce système pour créer des images pour entraîner d’autres systèmes d’IA. »

Les chercheurs ont testé leur nouvelle approche en utilisant le jeu de données COCO-Stuff et le jeu de données Visual Genome. Basée sur des mesures standard de la qualité d’image, la nouvelle approche a surpassé les techniques de création d’image de pointe précédentes.

«Notre prochaine étape consiste à voir si nous pouvons étendre ce travail à la vidéo et aux images tridimensionnelles», déclare Wu.

La formation à la nouvelle approche nécessite une bonne quantité de puissance de calcul; les chercheurs ont utilisé une station de travail à 4 GPU. Cependant, le déploiement du système est moins coûteux en calcul.

«Nous avons constaté qu’un seul GPU vous donne une vitesse presque en temps réel», déclare Wu.

« En plus de notre article, nous avons rendu notre code source pour cette approche disponible sur GitHub. Cela dit, nous sommes toujours prêts à collaborer avec des partenaires de l’industrie. »


Une nouvelle approche d’apprentissage automatique redonne vie aux photos numériques


Plus d’information:
Wei Sun et al, Learning Layout and Style Reconfigurable GANs for Controllable Image Synthesis, Transactions IEEE sur l’analyse de modèles et l’intelligence artificielle (2021). DOI: 10.1109 / TPAMI.2021.3078577

Fourni par North Carolina State University

Citation: Les chercheurs affinent le contrôle de la génération d’images par l’IA (1er juin 2021) récupéré le 1er juin 2021 sur https://techxplore.com/news/2021-06-fine-tune-ai-image.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.