La vision de rue aux rayons X « efface » les objets indésirables des vues du paysage urbain

imeuble

Crédit : Pixabay/CC0 domaine public

Des scientifiques de la Division de l’énergie durable et de l’ingénierie environnementale de l’Université d’Osaka ont utilisé des réseaux contradictoires génératifs formés sur un ensemble de données personnalisé pour éliminer virtuellement les obstacles des images de façade de bâtiment. Ce travail peut aider à la planification civique ainsi qu’aux applications de vision par ordinateur.

La capacité à « effacer » numériquement les objets obstruants indésirables d’un paysage urbain est très utile mais nécessite une grande puissance de calcul. Les méthodes précédentes utilisaient des ensembles de données d’images standard pour former des algorithmes d’apprentissage automatique. Aujourd’hui, une équipe de chercheurs de l’Université d’Osaka a créé un ensemble de données personnalisé dans le cadre d’un cadre général pour la suppression automatique des objets indésirables, tels que les piétons, les cavaliers, la végétation ou les voitures, d’une image de la façade d’un bâtiment. La région supprimée a été remplacée à l’aide d’une peinture numérique pour restaurer efficacement une vue complète.

Les chercheurs ont utilisé des données de la région du Kansai au Japon dans un service de visualisation de rue open source, par opposition aux ensembles d’images de bâtiments conventionnels souvent utilisés dans l’apprentissage automatique pour les paysages urbains. Ensuite, ils ont construit un ensemble de données pour former un réseau génératif contradictoire (GAN) pour peindre les régions occluses avec une grande précision. « Pour la tâche de peinture de façade dans des scènes au niveau de la rue, nous avons adopté un modèle de peinture d’image basé sur l’apprentissage profond de bout en bout en nous entraînant avec nos ensembles de données personnalisés », explique le premier auteur Jiaxin Zhang.

L’équipe a utilisé une segmentation sémantique pour détecter plusieurs types d’objets obstruants, notamment des piétons, de la végétation et des voitures, ainsi que des GAN pour remplir les régions détectées avec des textures d’arrière-plan et des informations de patch à partir d’images au niveau de la rue. Ils ont également proposé un flux de travail pour filtrer automatiquement les façades de bâtiments non bloquées à partir d’images Street View et ont personnalisé l’ensemble de données pour qu’il contienne à la fois des images originales et masquées afin de former des algorithmes d’apprentissage automatique supplémentaires.

Cette technologie de visualisation offre un outil de communication pour les experts et les non-experts, ce qui peut aider à développer un consensus sur les futures conceptions environnementales urbaines. « Notre système s’est avéré plus efficace que les méthodes précédemment utilisées pour traiter des projets de paysage urbain pour lesquels les informations de base n’étaient pas disponibles à l’avance », explique l’auteur principal Tomohiro Fukuda. À l’avenir, cette approche pourrait être utilisée pour aider à concevoir des systèmes de réalité augmentée capables de supprimer automatiquement les bâtiments existants et d’afficher à la place les rénovations proposées.

La recherche a été publiée dans Accès IEEE.



Plus d’information:
Jiaxin Zhang et al, Suppression automatique d’objets avec achèvement de façades obstruées à l’aide de la segmentation sémantique et de la peinture accusatoire générative, Accès IEEE (2021). DOI : 10.1109/ACCESS.2021.3106124

Fourni par l’Université d’Osaka

Citation: La vision de rue aux rayons X « efface » les objets indésirables des vues du paysage urbain (2021, 6 septembre) récupéré le 6 septembre 2021 sur https://techxplore.com/news/2021-09-x-ray-street-vision-erases-unwanted .html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.