Une nouvelle méthode compare le raisonnement d’un modèle d’apprentissage automatique à celui d’un humain

Cette intelligence artificielle pense-t-elle comme un humain ?

Les chercheurs du MIT ont développé une méthode qui aide un utilisateur à comprendre le raisonnement d’un modèle d’apprentissage automatique et comment ce raisonnement se compare à celui d’un humain. Crédit : Christine Daniloff, MIT

Dans l’apprentissage automatique, comprendre pourquoi un modèle prend certaines décisions est souvent tout aussi important que de savoir si ces décisions sont correctes. Par exemple, un modèle d’apprentissage automatique pourrait prédire correctement qu’une lésion cutanée est cancéreuse, mais il aurait pu le faire en utilisant un blip sans rapport sur une photo clinique.

Bien qu’il existe des outils pour aider les experts à donner un sens au raisonnement d’un modèle, ces méthodes ne fournissent souvent des informations que sur une décision à la fois, et chacune doit être évaluée manuellement. Les modèles sont généralement formés à l’aide de millions d’entrées de données, ce qui rend presque impossible pour un humain d’évaluer suffisamment de décisions pour identifier des modèles.

Maintenant, des chercheurs du MIT et d’IBM Research ont créé une méthode qui permet à un utilisateur d’agréger, de trier et de classer ces explications individuelles pour analyser rapidement le comportement d’un modèle d’apprentissage automatique. Leur technique, appelée Shared Interest, intègre des mesures quantifiables qui comparent à quel point le raisonnement d’un modèle correspond à celui d’un humain.

L’intérêt partagé peut aider un utilisateur à découvrir facilement les tendances concernant la prise de décision d’un modèle. Par exemple, le modèle est peut-être souvent confus par des fonctionnalités distrayantes et non pertinentes, comme des objets d’arrière-plan sur des photos. L’agrégation de ces informations pourrait aider l’utilisateur à déterminer rapidement et quantitativement si un modèle est fiable et prêt à être déployé dans une situation réelle.

“En développant Shared Interest, notre objectif est de pouvoir étendre ce processus d’analyse afin que vous puissiez comprendre à un niveau plus global quel est le comportement de votre modèle”, explique l’auteure principale Angie Boggust, étudiante diplômée du groupe de visualisation du Laboratoire d’Informatique et d’Intelligence Artificielle (CSAIL).

Boggust a écrit l’article avec son conseiller, Arvind Satyanarayan, professeur adjoint d’informatique qui dirige le groupe de visualisation, ainsi que Benjamin Hoover et l’auteur principal Hendrik Strobelt, tous deux d’IBM Research. Le document sera présenté à la Conférence sur les facteurs humains dans les systèmes informatiques.

Boggust a commencé à travailler sur ce projet lors d’un stage d’été chez IBM, sous le mentorat de Strobelt. Après leur retour au MIT, Boggust et Satyanarayan ont développé le projet et poursuivi la collaboration avec Strobelt et Hoover, qui ont aidé à déployer les études de cas qui montrent comment la technique pourrait être utilisée dans la pratique.

Alignement humain-IA

L’intérêt partagé exploite des techniques populaires qui montrent comment un modèle d’apprentissage automatique a pris une décision spécifique, appelées méthodes de saillance. Si le modèle classe des images, les méthodes de saillance mettent en évidence les zones d’une image qui sont importantes pour le modèle lorsqu’il a pris sa décision. Ces zones sont visualisées sous la forme d’un type de carte thermique, appelée carte de saillance, souvent superposée à l’image d’origine. Si le modèle a classé l’image comme un chien et que la tête du chien est mise en surbrillance, cela signifie que ces pixels étaient importants pour le modèle lorsqu’il a décidé que l’image contenait un chien.

L’intérêt partagé fonctionne en comparant les méthodes de saillance aux données de vérité sur le terrain. Dans un ensemble de données d’images, les données de vérité terrain sont généralement des annotations générées par l’homme qui entourent les parties pertinentes de chaque image. Dans l’exemple précédent, la boîte entourait tout le chien sur la photo. Lors de l’évaluation d’un modèle de classification d’images, Shared Interest compare les données de saillance générées par le modèle et les données de vérité terrain générées par l’homme pour la même image afin de voir dans quelle mesure elles s’alignent.

Cette intelligence artificielle pense-t-elle comme un humain ?

Les chercheurs ont développé une méthode qui utilise des métriques quantifiables pour comparer dans quelle mesure le raisonnement d’un modèle d’apprentissage automatique correspond à celui d’un humain. Cette image montre les pixels de chaque image que le modèle a utilisés pour classer l’image (entourés par la ligne orange) et comment cela se compare aux pixels les plus importants, tels que définis par un humain (entourés par la case jaune). Crédit : Institut de technologie du Massachusetts

La technique utilise plusieurs mesures pour quantifier cet alignement (ou désalignement), puis trie une décision particulière dans l’une des huit catégories. Les catégories couvrent toute la gamme allant de parfaitement aligné avec l’homme (le modèle fait une prédiction correcte et la zone en surbrillance dans la carte de saillance est identique à la boîte générée par l’homme) à complètement distrait (le modèle fait une prédiction incorrecte et n’utilise aucune image caractéristiques trouvées dans la boîte générée par l’homme).

“À une extrémité du spectre, votre modèle a pris la décision pour exactement la même raison qu’un humain, et à l’autre extrémité du spectre, votre modèle et l’humain prennent cette décision pour des raisons totalement différentes. En quantifiant cela pour tous les images de votre ensemble de données, vous pouvez utiliser cette quantification pour les trier », explique Boggust.

La technique fonctionne de la même manière avec les données textuelles, où les mots clés sont mis en surbrillance au lieu des régions d’image.

Analyse rapide

Les chercheurs ont utilisé trois études de cas pour montrer comment Shared Interest pourrait être utile à la fois aux non-experts et aux chercheurs en apprentissage automatique.

Dans la première étude de cas, ils ont utilisé Shared Interest pour aider un dermatologue à déterminer s’il doit faire confiance à un modèle d’apprentissage automatique conçu pour aider à diagnostiquer le cancer à partir de photos de lésions cutanées. L’intérêt partagé a permis au dermatologue de voir rapidement des exemples de prédictions correctes et incorrectes du modèle. En fin de compte, le dermatologue a décidé qu’il ne pouvait pas faire confiance au modèle car il faisait trop de prédictions basées sur des artefacts d’image, plutôt que sur des lésions réelles.

“La valeur ici est qu’en utilisant l’intérêt partagé, nous sommes en mesure de voir ces modèles émerger dans le comportement de notre modèle. En environ une demi-heure, le dermatologue a pu prendre une décision confiante quant à savoir s’il fallait ou non faire confiance au modèle et si oui ou non pour le déployer », explique Boggust.

Dans la deuxième étude de cas, ils ont travaillé avec un chercheur en apprentissage automatique pour montrer comment Shared Interest peut évaluer une méthode de saillance particulière en révélant des pièges jusque-là inconnus dans le modèle. Leur technique a permis au chercheur d’analyser des milliers de décisions correctes et incorrectes en une fraction du temps requis par les méthodes manuelles typiques.

Dans la troisième étude de cas, ils ont utilisé Shared Interest pour approfondir un exemple de classification d’image spécifique. En manipulant la zone de vérité au sol de l’image, ils ont pu effectuer une analyse de simulation pour voir quelles caractéristiques de l’image étaient les plus importantes pour des prédictions particulières.

Les chercheurs ont été impressionnés par la performance de Shared Interest dans ces études de cas, mais Boggust prévient que la technique n’est aussi bonne que les méthodes de saillance sur lesquelles elle est basée. Si ces techniques contiennent des biais ou sont inexactes, Shared Interest héritera de ces limitations.

À l’avenir, les chercheurs souhaitent appliquer l’intérêt partagé à différents types de données, en particulier les données tabulaires utilisées dans les dossiers médicaux. Ils souhaitent également utiliser l’intérêt partagé pour aider à améliorer les techniques de saillance actuelles. Boggust espère que cette recherche inspirera davantage de travaux visant à quantifier le comportement des modèles d’apprentissage automatique d’une manière qui a du sens pour les humains.


Dans quelle mesure les méthodes d’explication des modèles d’apprentissage automatique fonctionnent-elles ?


Plus d’information:
Angie Boggust, Benjamin Hoover, Arvind Satyanarayan, Hendrik Strobelt, Intérêt partagé : Mesurer l’alignement humain-IA pour identifier les modèles récurrents dans le comportement des modèles. arXiv:2107.09234v2 [cs.LG]arxiv.org/abs/2107.09234

Fourni par le Massachusetts Institute of Technology

Cette histoire est republiée avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement du MIT.

Citation: Une nouvelle méthode compare le raisonnement d’un modèle d’apprentissage automatique à celui d’un humain (6 avril 2022) récupéré le 6 avril 2022 sur https://techxplore.com/news/2022-04-method-machine-learning-human.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.