L’utilisation «hors indication» des bases de données d’imagerie pourrait entraîner un biais dans les algorithmes d’IA, selon une étude

Algorithme IA

Crédit : Pixabay/CC0 Domaine public

Les progrès significatifs de l’intelligence artificielle (IA) au cours de la dernière décennie ont reposé sur une formation approfondie d’algorithmes utilisant des bases de données massives et open source. Mais lorsque de tels ensembles de données sont utilisés “hors indication” et appliqués de manière involontaire, les résultats sont soumis à un biais d’apprentissage automatique qui compromet l’intégrité de l’algorithme d’IA, selon une nouvelle étude menée par des chercheurs de l’Université de Californie à Berkeley et du Université du Texas à Austin.

Les résultats, publiés cette semaine dans le Actes de l’Académie nationale des sciencesmettent en évidence les problèmes qui surviennent lorsque les données publiées pour une tâche sont utilisées pour former des algorithmes pour une autre.

Les chercheurs ont remarqué ce problème lorsqu’ils n’ont pas réussi à reproduire les résultats prometteurs d’une étude d’imagerie médicale. “Après plusieurs mois de travail, nous avons réalisé que les données d’image utilisées dans l’article avaient été prétraitées”, a déclaré le chercheur principal de l’étude, Michael Lustig, professeur de génie électrique et d’informatique à l’UC Berkeley. “Nous voulions sensibiliser au problème afin que les chercheurs puissent être plus prudents et publier des résultats plus réalistes.”

La prolifération de bases de données en ligne gratuites au fil des ans a contribué à soutenir le développement d’algorithmes d’IA en imagerie médicale. Pour l’imagerie par résonance magnétique (IRM), en particulier, les améliorations des algorithmes peuvent se traduire par un balayage plus rapide. L’obtention d’une image RM implique d’abord l’acquisition de mesures brutes qui codent une représentation de l’image. Les algorithmes de reconstruction d’image décodent ensuite les mesures pour produire les images que les cliniciens utilisent pour les diagnostics.

Certains ensembles de données, comme le célèbre ImageNet, comprennent des millions d’images. Les ensembles de données qui incluent des images médicales peuvent être utilisés pour former des algorithmes d’IA utilisés pour décoder les mesures obtenues lors d’un scan. L’auteur principal de l’étude, Efrat Shimron, chercheur postdoctoral dans le laboratoire de Lustig, a déclaré que les nouveaux chercheurs inexpérimentés en IA ne savent peut-être pas que les fichiers de ces bases de données médicales sont souvent prétraités et non bruts.

Comme de nombreux photographes numériques le savent, les fichiers d’images brutes contiennent plus de données que leurs homologues compressés, il est donc important de former des algorithmes d’IA sur des bases de données de mesures IRM brutes. Mais ces bases de données sont rares, de sorte que les développeurs de logiciels téléchargent parfois des bases de données avec des images RM traitées, synthétisent des mesures apparemment brutes à partir de celles-ci, puis les utilisent pour développer leurs algorithmes de reconstruction d’images.

Les chercheurs ont inventé le terme “crimes de données implicites” pour décrire les résultats de recherche biaisés qui résultent du développement d’algorithmes à l’aide de cette méthodologie défectueuse. “C’est une erreur facile à commettre car les pipelines de traitement des données sont appliqués par les conservateurs de données avant que les données ne soient stockées en ligne, et ces pipelines ne sont pas toujours décrits. Ainsi, il n’est pas toujours clair quelles images sont traitées et lesquelles sont brutes”, a déclaré Shimron. “Cela conduit à une approche problématique de mix-and-match lors du développement d’algorithmes d’IA.”

Trop beau pour être vrai

Pour démontrer comment cette pratique peut entraîner un biais de performance, Shimron et ses collègues ont appliqué trois algorithmes de reconstruction IRM bien connus aux images brutes et traitées sur la base de l’ensemble de données fastMRI. Lorsque des données traitées étaient utilisées, les algorithmes produisaient des images jusqu’à 48 % meilleures (visiblement plus claires et plus nettes) que les images produites à partir de données brutes.

“Le problème est que ces résultats étaient trop beaux pour être vrais”, a déclaré Shimron.

Les autres co-auteurs de l’étude sont Jonathan Tamir, professeur adjoint en génie électrique et informatique à l’Université du Texas à Austin, et Ke Wang, UC Berkeley Ph.D. étudiant dans le laboratoire de Lustig. Les chercheurs ont effectué d’autres tests pour démontrer les effets des fichiers d’images traités sur les algorithmes de reconstruction d’images.

À partir de fichiers bruts, les chercheurs ont traité les images en étapes contrôlées à l’aide de deux pipelines de traitement de données courants qui affectent de nombreuses bases de données IRM en libre accès : l’utilisation d’un logiciel de scanner commercial et le stockage des données avec compression JPEG. Ils ont formé trois algorithmes de reconstruction d’images à l’aide de ces ensembles de données, puis ils ont mesuré la précision des images reconstruites par rapport à l’étendue du traitement des données.

“Nos résultats ont montré que tous les algorithmes se comportent de la même manière : lorsqu’ils sont implémentés sur des données traitées, ils génèrent des images qui semblent belles, mais elles apparaissent différentes des images originales non traitées”, a déclaré Shimron. “La différence est fortement corrélée à l’étendue du traitement des données.”

Des résultats “trop ​​optimistes”

Les chercheurs ont également étudié le risque potentiel d’utiliser des algorithmes pré-formés dans une configuration clinique, en prenant les algorithmes qui avaient été pré-formés sur des données traitées et en les appliquant à des données brutes du monde réel.

“Les résultats ont été frappants”, a déclaré Shimron. “Les algorithmes qui avaient été adaptés aux données traitées ont mal fonctionné lorsqu’ils ont dû gérer des données brutes.”

Les images peuvent sembler excellentes, mais elles sont inexactes, ont déclaré les auteurs de l’étude. “Dans certains cas extrêmes, de petits détails cliniquement importants liés à la pathologie pourraient être complètement absents”, a déclaré Shimron.

Alors que les algorithmes peuvent rapporter des images plus nettes et des acquisitions d’images plus rapides, les résultats ne peuvent pas être reproduits avec des données cliniques ou de scanner brutes. Ces résultats “trop ​​optimistes” révèlent le risque de traduire des algorithmes biaisés en pratique clinique, ont déclaré les chercheurs.

“Personne ne peut prédire comment ces méthodes fonctionneront dans la pratique clinique, et cela crée un obstacle à l’adoption clinique”, a déclaré Tamir, qui a obtenu son doctorat. en génie électrique et en informatique à l’UC Berkeley et était un ancien membre du laboratoire de Lustig. “Cela rend également difficile la comparaison de diverses méthodes concurrentes, car certaines peuvent rapporter des performances sur des données cliniques, tandis que d’autres peuvent rapporter des performances sur des données traitées.”

Shimron a déclaré qu’il était important de révéler de tels “délits de données”, car l’industrie et le monde universitaire travaillent rapidement au développement de nouvelles méthodes d’IA pour l’imagerie médicale. Elle a déclaré que les conservateurs de données pourraient aider en fournissant une description complète sur leur site Web des techniques utilisées pour traiter les fichiers de leur ensemble de données. De plus, l’étude propose des lignes directrices spécifiques pour aider les chercheurs en IRM à concevoir de futures études sans introduire ces biais d’apprentissage automatique.


Nouvel algorithme de classification des lésions cutanées


Plus d’information:
Efrat Shimron et al, Délits de données implicites : biais d’apprentissage automatique résultant d’une mauvaise utilisation des données publiques, Actes de l’Académie nationale des sciences (2022). DOI : 10.1073/pnas.2117203119

Fourni par Université de Californie – Berkeley

Citation: L’utilisation « hors indication » des bases de données d’imagerie pourrait entraîner des biais dans les algorithmes d’IA, selon une étude (2022, 22 mars) récupérée le 22 mars 2022 sur https://techxplore.com/news/2022-03-imaging-databases-bias- ai-algorithms.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.