Pourquoi les méthodes d’apprentissage en profondeur reconnaissent avec confiance les images qui n’ont pas de sens

Pourquoi les méthodes d'apprentissage en profondeur reconnaissent avec confiance les images qui n'ont pas de sens

Un classificateur d’images profondes peut déterminer des classes d’images avec une confiance de plus de 90 % en utilisant principalement des bordures d’images, plutôt qu’un objet lui-même. Crédit : Rachel Gordon

Malgré tout ce que les réseaux de neurones peuvent accomplir, nous ne comprenons toujours pas vraiment comment ils fonctionnent. Bien sûr, nous pouvons les programmer pour apprendre, mais donner un sens au processus de prise de décision d’une machine reste un peu comme un puzzle sophistiqué avec un motif complexe et vertigineux où de nombreuses pièces intégrales doivent encore être montées.

Si un modèle tentait de classer une image de ce puzzle, par exemple, il pourrait rencontrer des attaques contradictoires bien connues mais ennuyeuses, voire des problèmes de données ou de traitement encore plus courants. Mais un nouveau type d’échec plus subtil récemment identifié par les scientifiques du MIT est une autre source de préoccupation : la « surinterprétation », où les algorithmes font des prédictions fiables basées sur des détails qui n’ont pas de sens pour les humains, comme des motifs aléatoires ou des bordures d’images.

Cela pourrait être particulièrement inquiétant pour les environnements à enjeux élevés, comme les décisions en une fraction de seconde pour les voitures autonomes et les diagnostics médicaux pour les maladies qui nécessitent une attention plus immédiate. Les véhicules autonomes en particulier s’appuient fortement sur des systèmes capables de comprendre avec précision l’environnement et de prendre des décisions rapides et sûres. Le réseau a utilisé des arrière-plans, des bords ou des motifs particuliers du ciel pour classer les feux de circulation et les panneaux de signalisation, indépendamment de ce qu’il y avait d’autre dans l’image.

L’équipe a découvert que les réseaux de neurones entraînés sur des ensembles de données populaires tels que CIFAR-10 et ImageNet souffraient d’une surinterprétation. Les modèles entraînés sur CIFAR-10, par exemple, ont fait des prédictions fiables même lorsque 95 % des images d’entrée manquaient, et le reste est insensé pour les humains.

« La surinterprétation est un problème d’ensemble de données causé par ces signaux absurdes dans les ensembles de données. Non seulement ces images à haute fiabilité sont méconnaissables, mais elles contiennent moins de 10 % de l’image d’origine dans des zones sans importance, telles que les bordures. Nous avons constaté que ces images étaient sans signification pour les humains, mais les modèles peuvent toujours les classer avec une grande confiance », déclare Brandon Carter, Ph.D. du Laboratoire d’informatique et d’intelligence artificielle du MIT. étudiant et auteur principal d’un article sur la recherche.

Les classificateurs d’images profondes sont largement utilisés. En plus du diagnostic médical et du renforcement de la technologie des véhicules autonomes, il existe des cas d’utilisation dans la sécurité, les jeux et même une application qui vous dit si quelque chose est ou n’est pas un hot-dog, car parfois nous avons besoin d’être rassurés. La technologie en discussion fonctionne en traitant des pixels individuels à partir de tonnes d’images pré-étiquetées pour que le réseau « apprenne ».

La classification des images est difficile, car les modèles d’apprentissage automatique ont la capacité de s’accrocher à ces signaux subtils insensés. Ensuite, lorsque les classificateurs d’images sont entraînés sur des ensembles de données tels que ImageNet, ils peuvent faire des prédictions apparemment fiables sur la base de ces signaux.

Bien que ces signaux absurdes puissent conduire à une fragilité du modèle dans le monde réel, les signaux sont en fait valides dans les ensembles de données, ce qui signifie que la surinterprétation ne peut pas être diagnostiquée à l’aide de méthodes d’évaluation typiques basées sur cette précision.

Pour trouver la justification de la prédiction du modèle sur une entrée particulière, les méthodes de la présente étude commencent par l’image complète et demandent à plusieurs reprises, que puis-je supprimer de cette image ? Essentiellement, il continue de couvrir l’image, jusqu’à ce que vous vous retrouviez avec le plus petit morceau qui prend toujours une décision en toute confiance.

À cette fin, il pourrait également être possible d’utiliser ces méthodes comme une sorte de critères de validation. Par exemple, si vous possédez une voiture à conduite autonome qui utilise une méthode d’apprentissage automatique pour reconnaître les panneaux d’arrêt, vous pouvez tester cette méthode en identifiant le plus petit sous-ensemble d’entrée qui constitue un panneau d’arrêt. S’il s’agit d’une branche d’arbre, d’une heure particulière de la journée ou de quelque chose qui n’est pas un panneau d’arrêt, vous pourriez craindre que la voiture s’arrête à un endroit où elle n’est pas censée le faire.

Bien qu’il puisse sembler que le modèle soit le coupable probable ici, les ensembles de données sont plus susceptibles d’être à blâmer. « Il y a la question de savoir comment nous pouvons modifier les ensembles de données d’une manière qui permettrait aux modèles d’être formés pour imiter plus étroitement la façon dont un humain penserait à la classification des images et donc, espérons-le, mieux généraliser dans ces scénarios du monde réel, comme la conduite autonome et le diagnostic médical, afin que les modèles n’aient pas ce comportement absurde », explique Carter.

Cela peut signifier créer des ensembles de données dans des environnements plus contrôlés. Actuellement, ce ne sont que des images extraites du domaine public qui sont ensuite classées. Mais si vous voulez faire de l’identification d’objets, par exemple, il peut être nécessaire d’entraîner des modèles avec des objets avec un arrière-plan non informatif.


L’apprentissage automatique réduit l’incertitude dans les diagnostics de cancer du sein


Plus d’information:
Brandon Carter, Siddhartha Jain, Jonas Mueller, David Gifford, Overinterpretation révèle les pathologies des modèles de classification d’images. arXiv:2003.08907v3 [cs.LG], arxiv.org/abs/2003.08907

Fourni par le Massachusetts Institute of Technology

Cette histoire est republiée avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement du MIT.

Citation: Pourquoi les méthodes d’apprentissage en profondeur reconnaissent avec confiance les images qui n’ont pas de sens (2021, 16 décembre) récupérées le 16 décembre 2021 à partir de https://techxplore.com/news/2021-12-deep-learning-methods-confidently-images-nonsense.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.