Réseau de création d’attention mutuelle développé pour la télédétection visuelle de réponse aux questions

Réseau de création d'attention mutuelle développé pour la télédétection visuelle de réponse aux questions

Présentation de la méthode proposée. Crédit : XIOPM

Une équipe de recherche dirigée par le professeur Lu Xiaoqiang de l’Institut d’optique et de mécanique de précision de Xi’an (XIOPM) de l’Académie chinoise des sciences a proposé un nouveau réseau de création d’attention mutuelle (MAIN) et un ensemble de données nommé RSIVQA pour la télédétection visuelle de réponse aux questions . Les résultats ont été publiés dans Transactions IEEE sur les géosciences et la télédétection.

La réponse visuelle aux questions de télédétection (VQA) vise principalement à rendre objective et interactive la compréhension sémantique des images de télédétection (RSI). Plus précisément, étant donné un RSI, un agent intelligent répondra à une question sur la scène de télédétection.

La plupart des méthodes existantes ignorent les informations spatiales des RSI et les informations sémantiques au niveau des mots des questions, ce qui restreint leurs applications dans de nombreuses scènes complexes.

En conséquence, dans cette étude, le MAIN proposé était composé de deux parties, dont le module de représentation et le module de fusion. Le module de représentation a été conçu pour obtenir les caractéristiques de l’image et de la question qui peuvent fournir de meilleures représentations.

Quant au module de fusion, il a amélioré la capacité discriminante des représentations qui peuvent acquérir des réponses correctes en renforçant les représentations d’image et de question.

Selon les résultats des expériences, la méthode proposée peut capturer les alignements entre les images et les questions sous différentes métriques d’évaluation. Cette étude offre une nouvelle perspective pour la réponse aux questions visuelles de la télédétection.


Apprentissage des différences de résolution croisée pour la détection de changements entre des images multitemporelles


Plus d’information:
Xiangtao Zheng et al, Réseau de création d’attention mutuelle pour la télédétection Réponse visuelle aux questions, Transactions IEEE sur les géosciences et la télédétection (2021). DOI : 10.1109/TGRS.2021.3079918

Fourni par l’Académie chinoise des sciences

Citation: Réseau d’initiation à l’attention mutuelle développé pour la télédétection visuelle de réponse aux questions (2021, 30 août) récupéré le 30 août 2021 à partir de https://techxplore.com/news/2021-08-mutual-attention-inception-network-remote.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.